【ひょうげんエンジニアリング】
表現エンジニアリング とは?
最終更新:
💡 AIの内部の数値を調べ、動作を調整する研究
📌 このページのポイント
- モデル内部の数値表現を対象にする研究アプローチ
- 表現を読み取る研究と、動作を制御する研究を含む
- 推論中の数値への介入だけでなく、重みを調整する方法もある
- 効果はモデル・データ・介入方法に依存し、正しさを保証するものではない
表現エンジニアリングって、プロンプトを工夫すること?
プロンプトは入力の言葉を工夫する方法だね。表現エンジニアリングは、モデルが処理の途中で持つ数値表現を調べ、それを制御にも使う研究アプローチだよ。入力を変える研究と組み合わせることもあるんだ。
数値表現って、AIの気持ちなの?
人の気持ちそのものではないよ。モデル内部の活性化など、計算で使われる数値のまとまりを指す。たとえば異なる種類の入力を与えたとき、どんな数値の違いが出るかを調べるんだ。
調べるだけでも、答えを変えられるの?
読み取りと制御は別だよ。ある特徴を測定できても、その数値を動かせば望みどおりの答えになるとは限らない。制御では、たとえば方向ベクトルを推論中の活性化に加え、出力がどう変わるかを検証するんだ。
それでAIを必ず正直にできる?
2023年の論文は正直さなどを対象に実験しているけれど、どのモデルや質問にも通用する保証ではないよ。方向の取り出し方、介入する場所、強さによって効果や副作用が変わるので、出力を別途評価する必要があるんだ。
重みを学習し直す方法とは違うんだよね?
推論中の活性化だけを変える方法もあるけれど、表現エンジニアリング全体が「学習不要」という意味ではないよ。元の論文には、低ランクの追加の重みを学習するLoRRAという方法もある。どこを、いつ変える方法なのかで見分けよう。
まとめ:ざっくりこれだけ覚えればOK!
「表現エンジニアリング」って出てきたら「AIの内部の数値表現を調べ、動作の調整に役立てる研究」と思えばだいたいOK!
📖 おまけ:英語の意味
「Representation Engineering」 = 表現を対象にしたエンジニアリング
💬 Zouらの2023年の論文は、個々のニューロンだけでなく、まとまりとしての内部表現を読み取り・制御するアプローチを示しているよ。