強化学習 とは？

教師あり学習は「この入力にはこの正解」という答え付きのデータで学ぶけど、強化学習は正解を直接教えてもらえないんだ。代わりに「良い行動をしたら報酬が増える」というフィードバックだけで、自分で最善の行動を見つけ出すんだよ。

そうだよ。AlphaGoが囲碁のプロ棋士に勝ったのも強化学習のおかげだし、Atariのゲームを人間以上にプレイするAIも強化学習で作られた。ゲームは「スコアを上げる＝報酬を最大化する」と自然に定義できるから、強化学習との相性がとても良いんだ。

Reinforcement Learning from Human Feedback（人間のフィードバックによる強化学習）の略だよ。ChatGPTなどの大規模言語モデルで、人間が「この回答は良い・悪い」と評価したデータを使って報酬モデルを作り、それを使って強化学習する手法なんだ。AIの回答を人間好みに調整するのに使われているよ。

たくさん使われているよ。ロボットの歩行制御、自動運転の意思決定、データセンターの冷却システムの最適化（Googleが実際にやっている）、さらには薬の分子設計にも応用されているんだ。「試行錯誤で最適な行動を学ぶ」というフレームワークは驚くほど応用範囲が広いよ。

それが強化学習で最も難しい部分と言われている「報酬設計問題」だよ。報酬を不適切に設計すると、人間が意図しない方法で報酬を最大化する「報酬ハッキング」が起きる。ボートレースのゲームで「チェックポイントを通過で報酬」にしたら、AIがゴールせずにチェックポイントをぐるぐる回り続けた、という有名な失敗例があるんだ。