問題 15★★☆

社内システムのログインをAIが監視し、不正の疑いが高いと判定したアカウントを一時停止している。 停止された従業員から理由を問われても、担当者は「AIがそう判定した」としか答えられない。 この状態を改めるための見直しとして、最も適切なものはどれか。

正解:ウ

各選択肢の解説

  1. ア学習に使うログの件数を増やし、AIの判定の精度を高める。

    誤り。これは精度を上げる対策です。誤停止が減れば問合せも減るため効きそうに見えますが、 精度が上がっても判定の中身は見えないままです。「当たるか」と「なぜそう判定したか」は別の問題です。

  2. イ判定のたびに、疑いの強さを0〜100の数値で担当者に示す。

    誤り。数値は判定がどれだけ確かかを示すだけで、何が理由かは示しません。 「疑いの強さは92です」と伝えても、本人はどの行動が問題だったのか分からず、反論も改善もできません。

  3. ウログイン元の地域や時刻など、判定に強く効いた要因を示す仕組みを取り入れる。

    正解。説明可能なAI(XAI)の考え方です。判定の根拠となった要因が分かれば、担当者は理由を説明でき、 本人も「出張先からのログインだった」などと事情を伝えられます。

  4. エAIの判定はそのままに、停止前に担当者が一件ずつ承認する手順を加える。

    誤り。これはヒューマンインザループ(HITL)で、人が判断に加わる仕組みです。 ただし根拠が見えないまま承認しても、担当者は理由を説明できません。人を置くことと根拠を示すことは別です。

理解を深めるために

「当たる」だけでは、止められた人に説明できない

健康診断で「要精密検査」とだけ書かれた紙を渡されたら、何が悪かったのか分からず不安になります。 血圧なのか血糖値なのかが分かって初めて、本人は次の行動を決められます。 AIの判定も同じで、どの要因が判定を左右したかを人が読める形で示すのが説明可能なAI(XAI)です。

なぜ根拠を示す必要があるのか

アカウントの停止は、従業員の業務を止める判断です。影響を受ける人がいる判定では、 組織として理由を説明できることが求められます。

  • 担当者が理由を説明できる(「普段と違う国から深夜にログインがあった」)
  • 本人が事情を伝えられる(出張中だった、など)。誤判定に気づくきっかけになる
  • 判定が不適切な要因に頼っていないかを、組織が確かめられる

精度を上げる、確かさを数値で示す、人が承認する、はどれも有用ですが、 「なぜそう判定したか」には答えません。

混同しやすいものとの違い

見直し 何が分かるようになるか
判定に効いた要因を示す(XAI) 判定の理由
学習データを増やす 判定がよく当たるようになる(理由は見えない)
疑いの強さを数値で示す 判定の確かさ(理由は見えない)
停止前に人が承認する(HITL) 人が判断に加わる(根拠がなければ理由は説明できない)

試験では、問題文の困りごとが「説明できない」なのか「誤りが多い」なのかを先に読み分けると、 XAIを選ぶべき場面を見分けられます。

前の問題へ次の問題へ