DPO（直接選好最適化） とは？

どちらもAIを人間の好みに合わせる技術だよ。RLHFは「報酬モデル」という中間ステップを使うのに対して、DPOは人間の選好データから直接学習するんだ。

たとえば同じ質問に対して「良い回答A」と「悪い回答B」のペアを人間が選んだデータだよ。「AよりBの方が親切で正確」という比較判断を大量に集めて学習させるんだ。

RLHFは強化学習を使うから、学習が不安定になりやすいんだ。報酬モデルのトレーニング・PPOという強化学習アルゴリズムの調整など、手順が多くて大変なんだよ。

DPOは損失関数の数式を工夫することで、強化学習なしに同じ結果を実現したんだ。数学的に等価な問題を、より簡単な形に書き直したと言えるよ。

Llama・Mistral・Gemmaなどオープンソースモデルのカスタムファインチューニングで広く使われてるよ。シンプルなコードで実装できるから、個人や小規模チームでも試しやすい技術なんだ。