活性化ステアリング とは？

簡単に言うと「AIモデルの脳内を直接いじって、行動を変える技術」だよ。

そうだよ。例えばモデルが「バナナ」という概念を処理するとき、内部に特定のベクトルが活性化するんだ。そのベクトルを人工的に足したり引いたりして挙動を変えるんだよ。

例えば「幸せ」に対応するベクトルを足すと、モデルの返答がポジティブな方向に変わったり、「フランス語」のベクトルを足すとフランス語で応答しやすくなったりするんだよ。

プロンプトはあくまで「外側からのお願い」だけど、活性化ステアリングはモデル内部の表現そのものを変えるから、より確実に制御できて、モデルの仕組みを理解する研究にも使われるんだよ。

そうで、安全に関する懸念もあるよ。だからAnthropicなどの安全性研究チームが、活性化ステアリングを使ってモデルがどんな概念を持っているかを調べる研究をしているんだよ。