正解：イ
各選択肢の解説
ア手元のデータをすべて学習に使い、同じデータで正しく判定できた割合を精度とする。
誤り。学習に使ったデータは、モデルがすでに見て覚えたデータです。 過学習していても高い精度が出てしまうため、未知のデータでの実力は分かりません。 試験問題を事前に配ってから試験をするようなものです。
イ手元のデータを学習用と評価用に分け、評価用は学習に使わずにおいて精度を測る。
正解。評価用のデータはモデルにとって初めて見るデータなので、 本番で出会う未知のデータに近い条件で測れます。学習用だけで成績が良ければ 過学習に気づくこともできます。
ウ評価用データで誤った事例を学習用に移して学習し直し、同じ評価用データで再び測る。
誤り。移した事例はモデルが学習で見たデータになるので、評価用に残した部分と 学習用が混ざってしまいます。精度は上がって見えますが、本番のデータに 対する実力が上がったかどうかは確かめられません。
エ評価用データには、判定しやすい典型的な事例だけを選んで入れたうえで精度を測る。
誤り。学習に使っていない点は正しいのですが、評価用の中身が本番と違います。 本番には判断の難しい事例も流れてくるので、簡単な事例だけで測った精度は 実際より高く出ます。評価用データは本番の実態に近い構成にします。
理解を深めるために
試験問題は事前に見せない
生徒の実力を測る試験で、事前に同じ問題を配って練習させたら、 全員が高得点を取っても実力は分かりません。 モデルの評価も同じで、学習に使っていないデータで測ることが基本です。
なぜデータを分けるのか
- 学習に使ったデータでは、覚えた内容を再現するだけで成績が良くなる
- 過学習していても、学習データだけで測ると高い精度が出てしまい、問題に気づけない
- そこで、手元のデータから一部を評価用として取り分け、学習には一切使わない
評価用データを取り分けるときは、本番に近い中身にしておくことも大切です。 簡単な事例だけ、あるいは特定の製品だけに偏っていると、測った精度が本番の実力とずれます。
また、評価用データの結果を見て学習をやり直すことを繰り返すと、 評価用データにもモデルが合わせ込まれていきます。最終的な確認は、それまで一度も 使っていないデータで行うのが安全です。
混同しやすい評価の進め方との違い
| 評価の進め方 | 何が問題か |
|---|---|
| 学習用と評価用に分け、評価用は学習に使わない | 問題なし（未知のデータに近い条件で測れる） |
| 学習に使ったデータで精度を測る | 覚えた内容の再現になり、過学習を見逃す |
| 誤った評価用データを学習用に移して再評価 | 学習用と評価用が混ざり、精度が高く見える |
| 簡単な事例だけで評価用データを作る | 本番と中身が違い、精度が高く出る |
「その精度は、モデルが見たことのないデータで、本番と同じような中身で測ったものか」を 確かめると、正しい評価の進め方を選べます。