RLHF とは？

そうだよ。普通の機械学習は「正解データ」を大量に与えて学習させるけど、RLHFは人間に「この回答とこの回答、どっちが良い？」って比較評価させたデータを使って、AIを「人間が好む回答を返せるように」改善していく手法だよ。

「正解の文章」を用意するのが難しいからだよ。有害な質問への理想的な断り方とか、複雑な倫理判断とか、「正解」を一つに決めるのが難しいケースがある。比較（「AよりBがいい」）なら人間でも答えやすいから、RLHFはその比較データを活用するんだ。

強化学習は「行動→報酬→行動を改善」を繰り返す学習法で、チェスや囲碁のAIで有名だよね。RLHFでは「人間評価者に良いと判断された回答」が報酬になる。直接人間が毎回評価するのは大変だから、まず「人間っぽい評価をしてくれる報酬モデル」を別途学習させて、その報酬モデルを使って強化学習するんだ。

「報酬ハッキング」が代表的な問題でね、AIが報酬モデルのスコアを上げることに最適化しすぎて、人間が本当に望む回答とずれていく現象が起きることがある。例えば「長い回答のほうが高評価」という傾向が報酬モデルにあると、AIが無駄に長い回答を生成するようになる。また人間評価者のバイアスがそのまま報酬モデルに取り込まれる問題もある。これを改善しようと「DPO」というRLHFより安定した手法も登場してて、最近のモデルではDPOを使うケースも増えてるんだよ。