問題 31★★☆

通信販売会社のサポート部門は、問合せ対応にチャットボットを導入して3か月がたった。 この間、電話とメールの問合せ件数は2割減っている。導入の効果を確かめるための 担当者の行動として、最も適切なものはどれか。

正解:ウ

各選択肢の解説

  1. ア問合せ件数が2割減った事実は明らかなので、この数字を効果として示し、他部門にも同じ設定で導入することを提案する。

    誤り。件数の減少は事実ですが、確かめたいのは「利用者の疑問が解けたか」です。 途中で諦めて問合せをやめた人が増えても件数は減ります。データはあっても、 判断したい事柄を測れていない指標を使っている状態です。

  2. イ利用者アンケートのうち満足と答えた人の自由記述を抜き出し、好意的な意見をまとめて効果の根拠として示す。

    誤り。回答の一部だけを取り出せば、どんな結論でも作れてしまいます。 不満と答えた人の記述にこそ、解決できなかった場面が表れます。 都合のよい部分だけを選ぶのは、事実に基づく判断とは呼べません。

  3. ウ疑問が解けたのかを確かめるため、対話が途中で終わった割合と、その後に再び問い合わせた割合を測る。

    正解。行動例「適切なデータを用いることにより、事実やデータに基づく判断が有効に なることを理解し、適切なデータの入力を意識して行っている」に当たります。 知りたいことに対応する指標を選んでいます。

  4. エ提供元の資料に載っている他社での平均的な解決率を自社の値とみなし、全社展開の根拠として示す。

    誤り。他社の平均値は、自社の利用者が何に困り、どう使ったかを写したものでは ありません。数字が付いていても、この判断の対象を測ったデータではないため、 客観的な事実として使うことはできません。

理解を深めるために

その数字は、知りたいことを測っているか

「問合せが2割減った」は、数えれば誰でも同じ結果になる客観的な事実です。 それでも、これだけで効果があったとは言えません。減った理由が、

  • チャットボットで疑問が解けた
  • 途中で諦めて問い合わせるのをやめた

のどちらなのか、件数だけでは区別できないからです。後者なら、 利用者は不満を抱えたまま黙っただけで、事態はむしろ悪くなっています。

知りたいことから指標を決める

事実に基づく判断は、手元にある数字を使うことではありません。 先に「何を知りたいか」を決め、それを測れるデータを選ぶのが順序です。

知りたいこと 測るとよいもの
疑問が解けたか 対話が途中で終わった割合、再問合せの割合
早く答えられたか 最初の回答までの時間
対応の負担が減ったか 担当者が扱った件数と時間

行動例が「適切なデータを用いることにより」と断っているのは、データでありさえすれば よいわけではないからです。測る対象がずれていれば、丁寧に集計しても結論はずれます。

誤りやすい3つの型

  • 代わりの数字で済ませる…件数の減少を、解決の証拠として扱う
  • 一部だけを取り出す…満足と答えた人の記述だけを並べる
  • 別の対象のデータを借りる…他社の平均解決率を自社の値とみなす

試験では、数字が出てくる選択肢ほど正しそうに見えます。その数字が いま判断したい事柄そのものを測っているかを確かめてください。

前の問題へ次の問題へ