【モデルアライメント】
モデルアライメント とは？
最終更新:
💡 AIの振る舞いを、人が望む方向へ近づける調整と研究
AIモデルの振る舞いを、人間の意図や価値観、定めた原則に沿わせるための技術・研究領域。有用さや安全性を高めることを目指し、誰の価値観を基準にするか、どう評価するかも課題になる。
📌 このページのポイント
ひよこ ペンギン先生、モデルアライメントって何をアライン（整合）させるの？
ペンギン先生 モデルの振る舞いを、人間の意図や定めた原則に沿わせることを目指すんだ。有害な応答を減らすだけでなく、有用さや正確さなども考える。ただし人の価値観は一つではないので、誰の意図や原則を基準にするかも大切だよ。
ひよこ 具体的にどんなことをするの？
ペンギン先生 ひよこ 有害コンテンツを出さないようにするだけじゃないの？
ペンギン先生 指示への対応や正直さなども目標になるよ。指示に従うことと安全性が衝突する場合もあり、単に従順ならよいとは限らない。InstructGPTの論文も、調整後に事実の誤りや有害な出力が残ると報告している。目標を掲げることと達成の保証は別だね。
ひよこ なんで難しいの？完璧にできないの？
ペンギン先生 評価者の好みには違いがあるし、学習した報酬も本来の目的を完全には表せないんだ。その隙を使い、高い評価を得ても望む結果にはならない報酬ハッキングが起こることもある。常に起きるとは限らないけれど、見た目の高評価だけでは十分でないね。
ひよこ 将来の超賢いAIにも重要なんだよね？
ペンギン先生 能力が高まり自律的に動く範囲が広がるほど、意図から外れた行動の影響も考える必要があるよ。価値観の違い、評価の限界、人が制御できる仕組みなどを研究する。特定の手法だけで、将来のAIも含めた安全性がすべて保証されるわけではないんだ。
まとめ：ざっくりこれだけ覚えればOK！
「モデルアライメント」って出てきたら「AIを人間の価値観・意図に合わせて調整すること」と思えればだいたいOK！
📖 おまけ：英語の意味
「Model Alignment」 ＝ モデルの整合・調整
💬 Alignmentは「向きや位置をそろえる」「一致させる」という意味。AIでは、モデルの振る舞いを人が望む方向に合わせるイメージで使うよ