ECサイトで商品ページを2種類用意し、訪問者を振り分けて購入率を比べたところ、 A案が3.0%、B案が3.4%だった。この差が偶然のばらつきで生じた程度のものか、 B案の効果と言えるのかを判断したい。用いる手法として最も適切なものはどれか。

「たまたま」かどうかを確率で決める

コインを10回投げて表が6回出ても、「このコインは表が出やすい」とは言いません。 その程度の偏りは、普通のコインでもよく起きるからです。 ところが1000回投げて600回表なら、さすがに普通のコインとは考えにくくなります。

購入率の3.0%と3.4%も同じです。訪問者が数百人なら偶然で説明できる差かもしれず、 数十万人ならB案の効果と見てよいかもしれません。この判断を感覚ではなく 確率で行うのが仮説検定です。

仮説検定の流れ

1. 否定したい仮説を置く（「A案とB案の購入率に差はない」）
2. その仮説が正しいとしたとき、今回の差以上の差が出る確率を計算する
3. 確率があらかじめ決めた基準（5%など）より小さければ仮説を捨て、「差がある」と判断する

基準を下回らなかった場合は「差があるとは言えない」という結論になります。 「差がない」と証明されたわけではない点に注意が必要です。

混同しやすいものとの違い

手法	使う場面	出発点
仮説検定	観測した差が偶然の範囲かを判断する	確かめたい仮説がある
回帰分析	一方の値から他方の値を見積もる	変数間の関係を式にしたい
単純無作為抽出	偏りなく標本を選ぶ	調査の対象をどう選ぶか
データマイニング	未知の規則性を見つける	仮説がまだない

試験では「偶然かどうか」「有意な差があるか」という言葉が仮説検定の目印です。 二つの案を比べるA/Bテストの結果を評価する場面で、よく使われます。