【せんこうデータ】
選好データ とは？
最終更新:
💡 AIに「こっちの方がいい」と教えるための比較問題集
AIの回答などについて、どちらをより好むかという比較判断を記録した学習データ。RLHFやDPOに使われ、人間だけでなくAIが評価する方法もある。選ばれた回答が絶対的に正しいと保証するものではない。
📌 このページのポイント
ひよこ ペンギン先生、選好データって何？
ペンギン先生 同じ質問への回答を比べて「こちらをより好む」と記録したデータだよ。典型的には選ばれたchosenと、比較で選ばれなかったrejectedを1組にする。正解と誤答を必ず分けているわけではないんだ。
ひよこ どうやって集めるの？
ペンギン先生 例えば2つの回答を評価担当者が読み、正確さや指示への適合などの基準で比較するよ。質問も一緒に記録して、何を基準に選んだかを確認できるようにするんだ。用途によってはペア以外の形式もあるよ。
ひよこ それって何に使うの？
ひよこ 選んでる人の好みがばらつきそう…
ペンギン先生 ばらつくことがあるね。だから何を重視して選ぶかを明確にし、判断の違いや偏りを点検する必要がある。選好を学習させても、事実の正しさや安全性が自動的に保証されるわけではないよ。
ひよこ 人間が選ばなくてもいい方法はないの？
ペンギン先生 AIに比較させる方法もあるよ。AnthropicのConstitutional AIでは、原則に沿ったAIの比較判断を学習に使う。ただし原則や評価方法は人間が設計するし、AIの判断も誤るので、確認が必要なんだ。
まとめ：ざっくりこれだけ覚えればOK！
「選好データ」って出てきたら「どちらの答えをより好むかをAIに教えるデータ」と思えばだいたいOK！
📖 おまけ：英語の意味
「Preference Data」 ＝ 好み・選択の傾向を記録したデータ
💬 Preferenceは、複数の選択肢のうちどれをより好むかという意味だよ。回答の比較判断を記録するので、選好データと呼ぶんだ。