正解：ア
各選択肢の解説
アどの手が勝敗に効いたかは教えられないため、対局を重ねる中でプログラム自身が見つけていく。
正解。返ってくるのは対局全体への点数だけで、「この手が良かった」とは教えられません。 対局を何度も繰り返し、点が高くなりやすい手の選び方をプログラム自身が 試行錯誤で探し当てていくのが強化学習です。
イ点を与える前提として、各局面で打つべき正しい手を人がデータとして用意しておく必要がある。
誤り。これは教師あり学習に必要な準備です。局面ごとに正しい手を示したデータがあれば、 それをまねるように学ばせられます。強化学習はその正解を用意できない場面で使う方式で、 問題文でも一手ごとの正解は与えていません。
ウ勝った対局の手だけを正しい手として覚えるので、負けた対局からは何も学ぶことができない。
誤り。低い点も立派な手がかりです。負けにつながりやすい手の選び方は 避ける方向へ改められます。「勝ちの記録を正解として覚える」と考えるのは、 点数を正解ラベルと取り違えた誤解です。
エ学習を終えて実際の対局に使い始めた後も、勝敗に応じて必ず自動で学び続ける仕組みになる。
誤り。運用中も学び続けるかどうかは作り方次第で、強化学習だから必ずそうなるわけでは ありません。学習を終えた時点のモデルを固定して使うこともよくあります。 強化学習の特徴は、いつ学ぶかではなく評価を手がかりに学ぶ点にあります。
理解を深めるために
結果の点数だけで上達する
自転車の乗り方を、手足の動かし方を一つずつ教わらずに覚えた人は多いはずです。 転ぶ・うまく進む、という結果だけを手がかりに何度も試し、そのうち乗れるようになります。 強化学習は、この「結果の良し悪しから行動の選び方を身につける」学ばせ方です。
問題文の対局プログラムも同じです。一手ごとの正解は教わらず、終局時の点数だけを受け取ります。
なぜ正解がなくても学べるのか
- 1回の対局では、どの手が勝敗を分けたのかは分からない
- しかし対局を大量に繰り返すと、高い点につながりやすい手、低い点につながりやすい手の傾向が見えてくる
- その傾向に沿って手の選び方を少しずつ改めていく
ここで返される点数は、ふつう報酬と呼ばれます。報酬は「正しい答え」ではなく 「結果への評価」です。点数が低い対局も、避けるべき手を知る材料になります。
混同しやすいものとの違い
| 方式・考え方 | 手がかりにするもの |
|---|---|
| 強化学習 | 行動の結果に対して返ってくる評価（報酬） |
| 教師あり学習 | 局面ごとに人が用意した正しい手 |
| 勝ちの記録を正解とみなす誤解 | 勝った対局の手だけ（負けは使わない） |
| 運用中も必ず学び続けるという誤解 | 学ぶ時期の話で、方式の違いではない |
「一件ごとの正解があるか、結果への評価しかないか」で教師あり学習と強化学習を 見分けます。正解がないからといって教師なし学習とは限らない点にも注意してください。