正解：イ
各選択肢の解説
ア規程の文書をRAGで連携し、ランダム性を低く設定する。
誤り。RAGで規程を材料にするので「規程に沿う」は満たせます。しかしランダム性を 低くすると、同じ材料からは似た問題が繰り返し出やすくなります。 「毎回違う問題」という条件に合いません。
イ規程の文書をRAGで連携し、ランダム性を高めに設定する。
正解。規程の中身はRAGで材料として渡し、出題の多様さはランダム性を高めて出します。 2つの条件を、それぞれに効く別々の手段で満たす組合せです。
ウ規程の文書は渡さずに、ランダム性を高めに設定する。
誤り。ランダム性を高めれば問題は毎回変わりますが、AIは自社の規程を知りません。 一般的な内容や、規程と食い違う内容をもっともらしく出題するおそれがあり、 「規程に沿う」という条件に合いません。
エ規程の文書は渡さずに、指示文で「当社の規程に沿うこと」と求める。
誤り。プロンプトエンジニアリングで出題の形式や観点は指定できますが、 渡していない規程の中身をAIは参照できません。指示しても、 規程に沿っているように見える問題が出てくるだけです。
理解を深めるために
条件ごとに、効く手段を1つずつ当てる
料理にたとえると、「店の秘伝の味付けで」と「毎日違う献立で」という2つの注文は、 別々の手段で満たします。秘伝の味付けはレシピ帳を渡さないと再現できず、 献立の変化は作り手に工夫の幅を持たせて出します。片方の手段で両方を満たそうとすると、 どちらかが欠けます。
この問題の2つの条件も同じです。
- 規程に沿う → AIが知らない自社の規程を材料として渡す（RAGによる知識連携）
- 毎回違う問題 → 出力のばらつきを大きめにする（ランダム性の制御）
なぜこの組合せになるのか
RAGは、関係する文書を検索して回答の材料に加える仕組みで、出題の中身を規程に寄せます。 ランダム性は出力の揺れ幅で、高めにすると同じ材料から違う問題が出やすくなります。 2つは変えるものが違うので、組み合わせても打ち消し合いません。
ただし、ランダム性を高めると、材料から外れた記述が混じる余地も広がります。 RAGを使っても事実と異なる出力が無くなるわけではないので、作った問題は 担当者が規程と照らして確かめてから使います。
混同しやすいものとの違い
| 組合せ | 規程に沿う | 毎回違う問題 |
|---|---|---|
| RAG ＋ ランダム性を高め | 満たす | 満たす |
| RAG ＋ ランダム性を低く | 満たす | 似た問題が続きやすい |
| 規程なし ＋ ランダム性を高め | 満たさない | 満たす |
| 規程なし ＋ 指示文で「規程に沿え」 | 満たさない | 条件に触れていない |
試験では、条件が2つあれば手段も2つ要るのではないかと考えます。「AIが知らない情報を使わせる」 のか「出力の揺れを変える」のかで、手段を切り分けます。