問題 7★★★

インシデント報告を生成AIで所定の区分に振り分けている。ランダム性を低く設定した結果、 同じ報告には毎回同じ区分が返るようになったが、一部の報告は毎回同じ誤った区分になる。 次に行う見直しとして最も適切なものはどれか。

正解:ウ

各選択肢の解説

  1. アランダム性をさらに低く設定し、出力の揺れをもう一段小さくする。

    誤り。ランダム性の制御は、出力の揺れ幅を調整するものです。すでに毎回同じ区分が 返っており、揺れは残っていません。誤りが毎回同じに出るのは、揺れではなく 判断の基準そのものがずれているためで、この設定では直りません。

  2. イランダム性を高くして何回か出力させ、最も多く出た区分を採用する。

    誤り。毎回同じ区分を選ぶほど判断が偏っている報告は、揺れを足しても 同じ誤りが多数を占めやすく、多数決では正せません。そのうえ、 せっかく得た「同じ報告には同じ区分」という再現性を手放すことになります。

  3. ウ各区分の定義と、迷いやすい報告の判断例を指示文に加えて示す。

    正解。プロンプトエンジニアリングです。毎回同じ誤りが出るのは、区分の境目を AIが当社の意図どおりに理解していないためです。定義と判断例を示せば、 判断の基準そのものを直せます。

  4. エ誤った区分が出た報告は、新しい会話を開いて同じ文面で入力し直す。

    誤り。直前のやり取りが影響していると考えた対処ですが、区分の定義をAIが 知らないことが原因なので、会話をやり直しても同じ判断が返ります。 ランダム性が低い設定では、なおさら同じ結果になります。

理解を深めるために

「毎回違う」と「毎回同じように間違う」は別の病気

的当てにたとえると分かりやすくなります。矢が的の周りに散らばるなら、 腕の震え(揺れ)を抑えれば当たるようになります。一方、矢が毎回同じ所に集まっているのに 中心から外れているなら、震えではなく狙いがずれています。狙いを直さない限り、 何本射っても同じ所に刺さります。

生成AIでも同じです。ランダム性の制御が効くのは前者の「揺れ」で、 後者の「狙いのずれ」には、指示の中身を直すプロンプトエンジニアリングが効きます。

なぜ指示文を直すのか

この場面では、ランダム性を下げたことで揺れは消えています。それでも同じ報告が 毎回同じ誤った区分になるのは、AIが区分の境目を当社の意図どおりに捉えていないからです。

  • 区分ごとの定義(どの報告をどこに入れるか)を書く
  • 迷いやすい報告について、正しい振り分けの例を添える

こうして判断の基準そのものをAIに渡すと、狙いが直ります。ランダム性は低いままにしておけば、 直した基準で毎回同じ区分を返すので、見直しの効果も確かめやすくなります。 ただし、それでも誤りがゼロになる保証はないので、振り分け結果を人が点検する手順は残します。

混同しやすいものとの違い

見直し方 効く症状 この場面で効くか
定義と判断例を指示文で示す 毎回同じように誤る(基準のずれ) 効く
ランダム性をさらに下げる 出力が毎回揺れる 揺れはもう無いので効かない
ランダム性を上げて多数決 偶然の誤りが混じる 偏った誤りは多数になりやすい
会話をやり直す 直前のやり取りに引きずられる 原因が違うので効かない

試験では、出力の問題が「ばらつき」なのか「一貫した誤り」なのかを先に見分けます。 ばらつきならランダム性、一貫した誤りなら指示の中身を疑います。

前の問題へ次の問題へ