正解：ウ
各選択肢の解説
ア開封率が大きく下がったので、訓練の効果が出たと報告する。
誤り。今年は一部の社員に訓練メールが届いていません。届かなかったメールは開封されようがないので、 社員の行動が変わらなくても開封率は下がります。測る条件が変わった数字を、 そのまま効果の証拠として扱っています。
イ来年は訓練の対象者を増やし、件数を増やしてから効果を判断する。
誤り。件数を増やすと偶然のばらつき（標本誤差）は小さくなりますが、隔離によって 開封率が低く出る偏りは件数を増やしても残ります。測り方そのものの偏り（統計的バイアス）は、 量ではなく測り方を直さないと消えません。
ウ受信者に届いた数を確かめ、届いたメールを分母にして開封率を比べ直す。
正解。隔離された分を分母から除けば、届いたメールのうち何割が開かれたかという、 昨年と同じ意味の数字で比べられます。偏りの原因を測り方の側で取り除く対応です。
エ昨年と同じ文面の訓練メールに戻し、文面の条件だけをそろえて比べる。
誤り。文面の違いも比較の条件ですが、この場面で数字を動かしているのは、 メールが届いたかどうかです。文面をそろえても隔離が続けば偏りは残ります。 どの条件の違いが数字を動かしたのかを見極める必要があります。
理解を深めるために
届いていない手紙は開けられない
100通の手紙のうち70通が配達されなかったら、開封された手紙が減るのは当然です。 受け取った人が慎重になったからではありません。標的型メール訓練の開封率も同じで、 メールフィルタが訓練メールを隔離すると、社員の行動と関係なく数字が下がります。
測り方が変わると数字が偏る
データの集め方や測り方が原因で、結果が一定の方向にずれることを統計的バイアスといいます。 この場面では、昨年と今年で次の条件が変わっています。
- 昨年：送ったメールはすべて社員に届いた
- 今年：一部がフィルタで隔離され、社員の受信箱に届かなかった
開封率の分母を「送信数」のままにすると、今年だけ「届いていないのに開かれなかった」分が 混ざり、低く出ます。メールフィルタの記録で受信箱に届いた数を確かめ、 それを分母にして比べ直せば、昨年と同じ意味の数字になります。
情報セキュリティの担当者は、訓練の開封率や報告率で教育の効果を測る場面が多くあります。 対策を入れた年は、その対策自体が測り方を変えていないかを確かめてから比べます。
混同しやすいものとの違い
| 考え方 | 何に対処するか | この場面で効くか |
|---|---|---|
| 分母を届いた数に直す | 測り方の偏り（統計的バイアス） | 効く |
| 対象者を増やす | 偶然のばらつき（標本誤差） | 偏りは残る |
| 文面をそろえる | メールの見分けにくさの違い | 届いたかどうかの差は残る |
| そのまま効果と報告する | 何もしていない | 偏った数字で判断する |
「数字を動かしたのは社員の行動か、測る条件か」を最初に問うのが要点です。