アラインメント（AI） とは？

出力や行動を、人間が望む目的や守るべき条件に合わせるんだ。たとえば、質問に役立つ答えを返すだけでなく、事実を捏造しない、害につながる行動を避けるといった条件も考える。AIに心や願望があるという意味ではないよ。

利用者の指示が他の人に害を与える場合もあるので、単純に何でも従うこととは違うよ。誰の利益や価値を考慮し、どんな条件を守るかを決める必要がある。人々の好みや目的が一致しないこと自体も、難しい課題なんだ。

言語モデルの例では、人が望ましい回答を示したり、複数の回答を比較したりする。その比較を学んだ報酬モデルを使って、回答の出し方を強化学習で調整する方法があるよ。ただし、人の評価を学んだことだけで正しさや安全が完全に保証されるわけではないんだ。

DPOは、好まれた回答と比較対象のデータから、別の報酬モデルを学習する手順などを省いてモデルを調整する方法だよ。Constitutional AIの公開研究では、人が決めた原則を使ったAIの批評・修正と、AIが比較した評価からの学習を組み合わせている。どれもアラインメントへの取り組みの一部なんだ。

訓練で見ていない場面でも意図に沿うか、実際の振る舞いを評価する必要があるよ。誰の評価を使ったか、どの条件で試したかも重要。アラインメントはAI安全性に関わる課題の一つで、システムの安全対策すべてと同じ意味ではないんだ。