社内業務を任せるAIエージェントについて、参照してよいデータ、使ってよい機能、 一度に扱える金額の上限をあらかじめ定め、その範囲の外の操作はできないように しておく。このような取り決めを何と呼ぶか。
正解：ウ
アプロンプトエンジニアリング
誤り。これはAIへの指示文の書き方を工夫して、望む出力を引き出す手法です。 指示の工夫で危ない動きを避けることはできますが、指示の書き方次第で すり抜けが起こります。範囲そのものを閉じる仕組みとは別です。
イランダム性の制御
誤り。これは生成AIの出力のばらつきを調整することです。毎回同じ答えを 返させたいのか、多様な案を出させたいのかを設定で決めます。 出力の振れ幅の話であって、触れてよい範囲を決める話ではありません。
ウガードレール
正解。道路の外へ飛び出さないように設ける柵と同じ発想で、 AIエージェントがしてよいことの範囲をあらかじめ枠として定めます。 安全性への配慮、倫理的配慮、法令順守の観点から枠を決めます。
エアライメント
誤り。これはAIの応答が人の意図や価値観から外れないよう、モデルそのものを 学習の段階で調整することです。利用する企業が自社の業務に合わせて設ける 枠とは、手を入れる場所も担い手も異なります。
走ってよい道の幅を先に決める
山道のガードレールは、運転手が谷へ落ちないように道の端に置かれています。 運転そのものには口を出しませんが、外へ出ることだけはできません。 AIエージェントに設けるガードレールもこれと同じで、 目標に向かう進め方は任せつつ、越えてはいけない線を先に引いておきます。
具体的には次のような枠になります。
- 参照してよいデータを限る（人事情報や顧客の個人データには触れさせない）
- 使ってよい機能を限る（検索と登録は許すが、削除や送金は許さない）
- 上限を設ける（一度に扱える金額、一日に送れる件数）
- 外部への送信を禁じる（社内文書を社外のサービスへ渡させない）
枠を決める観点は、安全性への配慮、倫理的配慮、法令順守の三つで説明されます。
似た言葉との違い
| 用語 | 何をするもの |
|---|---|
| ガードレール | してよいことの範囲を事前に定め、外に出られなくする |
| プロンプトエンジニアリング | 指示文を工夫して望む出力を引き出す |
| ランダム性の制御 | 出力のばらつきの大きさを調整する |
| アライメント | モデル自体を人の意図に沿うよう学習段階で調整する |
人が一件ずつ確認して止めるやり方と違い、ガードレールはそもそも枠の外へ 進めなくしておく点が特徴です。両方を組み合わせて、枠の中では自由に動かし、 影響の大きい操作だけ人が確認する、という運用にするのが一般的です。