【ひょうげんエンジニアリング】

表現エンジニアリング とは?

最終更新:
💡 AIの内部の数値を調べ、動作を調整する研究
📌 このページのポイント
表現エンジニアリング内部の数値を「読む」と「変える」① 読み取り入力を変えて内部表現を調べる② 制御活性化や重みに介入して検証例:推論中のベクトルへ方向を加える元の表現加える方向介入後出力がどう変わるか、別途評価する
ベクトルは2次元に簡略化した模式図です。測定できる特徴が、そのまま制御できるとは限りません。
ひよこ ひよこ
表現エンジニアリングって、プロンプトを工夫すること?
ペンギン先生 ペンギン先生
プロンプトは入力の言葉を工夫する方法だね。表現エンジニアリングは、モデルが処理の途中で持つ数値表現を調べ、それを制御にも使う研究アプローチだよ。入力を変える研究と組み合わせることもあるんだ。
ひよこ ひよこ
数値表現って、AIの気持ちなの?
ペンギン先生 ペンギン先生
人の気持ちそのものではないよ。モデル内部の活性化など、計算で使われる数値のまとまりを指す。たとえば異なる種類の入力を与えたとき、どんな数値の違いが出るかを調べるんだ。
ひよこ ひよこ
調べるだけでも、答えを変えられるの?
ペンギン先生 ペンギン先生
読み取りと制御は別だよ。ある特徴を測定できても、その数値を動かせば望みどおりの答えになるとは限らない。制御では、たとえば方向ベクトルを推論中の活性化に加え、出力がどう変わるかを検証するんだ。
ひよこ ひよこ
それでAIを必ず正直にできる?
ペンギン先生 ペンギン先生
2023年の論文は正直さなどを対象に実験しているけれど、どのモデルや質問にも通用する保証ではないよ。方向の取り出し方、介入する場所、強さによって効果や副作用が変わるので、出力を別途評価する必要があるんだ。
ひよこ ひよこ
重みを学習し直す方法とは違うんだよね?
ペンギン先生 ペンギン先生
推論中の活性化だけを変える方法もあるけれど、表現エンジニアリング全体が「学習不要」という意味ではないよ。元の論文には、低ランクの追加の重みを学習するLoRRAという方法もある。どこを、いつ変える方法なのかで見分けよう。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「表現エンジニアリング」って出てきたら「AIの内部の数値表現を調べ、動作の調整に役立てる研究」と思えばだいたいOK!
📖 おまけ:英語の意味
「Representation Engineering」 = 表現を対象にしたエンジニアリング
💬 Zouらの2023年の論文は、個々のニューロンだけでなく、まとまりとしての内部表現を読み取り・制御するアプローチを示しているよ。

参考資料

← 用語集にもどる