正解:ア
各選択肢の解説
ア検索対象に登録している規程の文書を、改定後の版に差し替える。
正解。RAGは質問のたびに検索対象から関連する箇所を探し、それを材料に 回答を作らせます。材料となる文書を新しくすれば、モデルに手を加えなくても 回答に反映されます。
イ改定後の規程をモデルに追加で学習させ、モデルの重みを更新する。
誤り。これはファインチューニングの考え方です。知識を足す方法として 思い浮かびやすいですが、手間と費用がかかるうえ、検索対象に旧版が残っていれば 旧版の記述が材料として渡され続けます。RAGでは材料側を直すのが筋です。
ウパラメータ数がより多い、大規模な言語モデルに置き換える。
誤り。モデルを大きくすると一般的な文章の力は上がることがありますが、 社内規程の改定内容を知っているわけではありません。検索で渡される材料が 旧版のままなら、どのモデルでも旧版に沿って回答します。
エ回答のばらつきを小さくする設定に変更し、毎回同じ回答にする。
誤り。ばらつきの設定は、同じ材料から言い回しをどれだけ変えるかを 調整するものです。回答が安定するだけで、材料が旧版なら旧版の内容で 安定して答えることになります。
理解を深めるために
答えの材料は、その都度検索して持ってくる
RAGは、試験で言えば「資料持ち込み可」の解き方です。質問が来るたびに 手元の資料(検索対象の文書)から関係する箇所を探し、それを見ながら 回答を書きます。頭の中身、つまりモデルそのものは変えません。
だから資料が古くなったときに直すべきなのは、頭ではなく資料のほうです。 規程の文書を改定後の版に差し替えれば、次の質問から新しい内容が材料として渡されます。
処理の流れ
- 質問の内容をもとに、検索対象の文書から関連する箇所を探す
- 見つけた箇所を、質問と一緒に指示文へ組み込む
- 大規模言語モデルが、その材料を踏まえて回答を生成する
文書を登録するときには、検索しやすい形(意味の近さで探せる形)に 変換して保存しておくのが一般的です。差し替えの際はこの登録もやり直します。 いずれにしても、知識の更新が文書の入れ替えで済む点がRAGの大きな利点です。
混同しやすいものとの違い
| 手立て | 何を変えるか | 規程の改定に効くか |
|---|---|---|
| 検索対象の文書の差し替え | 回答の材料 | 効く(次の質問から反映) |
| ファインチューニング | モデルの重み | 手間が大きく、旧版が検索されれば残る |
| より大規模なモデルへの置換え | モデルそのもの | 社内の改定内容は知らない |
| ばらつきを小さくする設定 | 言い回しの揺れ | 材料が旧版なら旧版で安定する |
RAGの問題で「内容を新しくしたい」とあれば、モデルではなく 検索対象の文書に手を入れる選択肢を選びます。