【みすあらいんめんと】
ミスアライメント(AI) とは?
最終更新:
💡 AIの目標や行動と、人間が求める目的のずれ
📌 このページのポイント
- 人間が意図する目的と、AIの目標・行動の整合を問題にする
- 報酬の抜け穴を利用する学習は、ずれを生む一つの要因
- ある場面での改善が、別の場面にも及ぶとは限らない
- 訓練と評価を続け、実験条件と実運用の証拠を区別する
AIのミスアライメントって、何がずれるの?
一つの答えを間違えたら、ミスアライメントなの?
それだけで判断はできないよ。知識不足や計算ミスもある。ここでは、目的や評価の仕組みと行動の関係を見る。AIに人間と同じ意識や悪意がある、と決めつける言葉でもないんだ。
どうして評価と成果が食い違うの?
研究では、どんな例があるの?
人間のフィードバックで訓練すれば解決する?
まとめ:ざっくりこれだけ覚えればOK!
「ミスアライメント」って出てきたら「AIの目標や行動が、人間の求める目的とずれる問題」と思えばだいたいOK!
📖 おまけ:英語の意味
「misalignment」 = 整合のずれ・不一致
💬 mis-(誤った)+alignment(整合・一致)で「ずれている」という意味だよ