社内文書を使うRAG：小さく検証する5つの手順
RAGは、質問に関連する資料を検索し、その内容を生成AIに渡して回答を作る方法です。検索を加えても誤回答はなくならないため、業務で使う前に評価が必要です。
1. 対象業務を一つに絞る
例は社内規程の検索。利用者、対象文書、答えてよい質問と答えてはいけない質問を決めます。
2. 文書の権限を整える
古い版、重複、個人情報を点検します。利用者が元の資料を閲覧できる場合だけ、検索結果に含める設計にします。
3. 評価用の質問を作る
正答が分かる質問、資料に答えがない質問、権限外の質問を用意します。根拠、正確さ、回答拒否、時間と費用を評価します。
4. 小規模な試行を行う
検索・回答・人による確認を分けて記録します。外部文書の指示に従わせる攻撃や機密情報の流出も検証します。
5. 継続・修正・中止を決める
開始前に合格基準と予算上限を決めます。本番移行には運用責任者、文書更新、障害時の対応、定期評価が必要です。
次の相談で決めること：対象業務／文書の種類／利用者／権限／評価基準。