【せんこうデータ】
選好データ とは？
公開:
💡 AIに「こっちの方がいい」と教えるための比較問題集
📌 このページのポイント
- 好ましい回答（chosen）と好ましくない回答（rejected）のペアで構成される
- RLHF・DPOの学習においてモデルの価値観を形成する根幹データ
- データ品質がモデルの安全性・有用性に直結するため収集コストが高い
- Constitutional AIではAI自身が選好データを生成する手法が使われる
ひよこ ペンギン先生、選好データって何？
ペンギン先生 AIに「こっちの答えの方がいい」と教えるための比較データだよ。同じ質問に対して良い回答と悪い回答を1セットにして、人間がどちらが好ましいかを選んで作るんだ。
ひよこ どうやって集めるの？
ペンギン先生 アノテーターと呼ばれる評価担当者が、2つの回答を見比べて「A派かB派か」を選ぶ作業を大量に繰り返すよ。OpenAIやAnthropicは膨大な時間をこれに費やしているんだ。
ひよこ それって何に使うの？
ひよこ 選んでる人の好みがばらつきそう…
ペンギン先生 そうなんだよ。だから評価基準（ガイドライン）を細かく決めたり、複数人で評価して多数決にしたりするよ。データ品質のばらつきがそのままモデルの品質に影響するから、収集がとても大変なんだ。
ひよこ 人間が選ばなくてもいい方法はないの？
ペンギン先生 AnthropicのConstitutional AIは、人間の代わりにAI自身が「この原則に照らしてどちらが良いか」を判断して選好データを生成するよ。完全に人手を省くのは難しいけど、コストをかなり下げられるんだ。
まとめ：ざっくりこれだけ覚えればOK！
「選好データ」って出てきたら「AIに良い答えと悪い答えを対で見せて方向付けるデータ」と思えればだいたいOK！
📖 おまけ：英語の意味
「Preference Data」 ＝ 選好データ・好みデータ
💬 経済学の「選好（preference）」から借りた用語で、選択肢のどちらを好むかという比較判断を学習データに使うことから来ているよ