問題 16★★★

経費精算の不正検知AIが「不正の疑い」とした申請は、担当者が確認してから処理する運用である。 ところが担当者の画面には「確認済み」を押す操作しかなく、疑いが誤りだと思っても差し戻しになる。 人が判断に加わる仕組み(HITL)として機能させるための見直しとして、最も適切なものはどれか。

正解:イ

各選択肢の解説

  1. ア担当者を2名にし、2名とも「確認済み」を押した申請だけを差し戻す。

    誤り。確認する人数を増やしても、AIの判定を覆せないことは変わりません。 二重チェックは見落としを減らす手段で、人が最終的に決められるかどうかとは別の問題です。

  2. イ担当者がAIの判定を覆して承認できる操作を設け、覆した理由を記録させる。

    正解。HITLでは人が最終的な決定を下します。判定を覆す権限と手順があって初めて人の判断が結果に反映され、 理由の記録は後で判断の妥当性やAIの見直しに使えます。

  3. ウ画面に、AIが疑いと判定した根拠となる項目を表示する。

    誤り。これは説明可能なAI(XAI)の考え方で、担当者が判断する材料は増えます。 しかし判定を覆す操作がないままでは、根拠を見て誤りだと分かっても結果を変えられません。

  4. エ担当者の確認をやめて自動で差し戻し、処理の記録を残して月次で点検する。

    誤り。人を判断の流れから外す見直しで、HITLとは逆の方向です。 月次の点検では、誤った差し戻しはすでに申請者に届いた後になり、その場では止められません。

理解を深めるために

人を置いても、決める権限がなければ「確認係」にすぎない

ブレーキのない運転席に人を座らせても、車を止めることはできません。 ヒューマンインザループ(HITL)は、AIの判断の流れに人を組み込み、人が最終的な決定を下せる ようにする考え方です。人がいることではなく、人の判断が結果を変えられることが要点です。

なぜ覆す権限が要るのか

この運用では担当者が確認していますが、押せるのは「確認済み」だけです。 疑いが誤りだと気づいても差し戻しになるので、決定しているのは実質的にAIです。

  • 判定を覆して承認できる操作があれば、担当者の判断が結果に反映される
  • 覆した理由を残せば、担当者の判断が妥当だったかを後から確かめられる
  • 覆した事例がたまれば、AIの判定がどこで外れやすいかを見直す材料になる

人数を増やす、根拠を見せる、事後に点検する、はどれも「人が決められない」状態を変えません。

混同しやすいものとの違い

見直し 人が最終的に決められるか
判定を覆す操作と理由の記録 決められる(HITLとして機能する)
担当者を2名にする 決められない(確認の人数が増えるだけ)
根拠の項目を表示する(XAI) 決められない(材料は増えるが結果を変えられない)
自動で差し戻し、月次で点検 決められない(人を流れから外している)

HITLを問う問題では「人が関わっているか」ではなく、「人の判断で結果が変わるか」で選択肢を見ると迷いません。

前の問題へ次の問題へ