表現エンジニアリング とは？

LLMの内部表現空間を直接操作することで、モデルの正直性・感情・偏見などの動作を制御する技術。プロンプトではなくモデルの「脳内」に働きかけるアプローチ。

ひよこ

ペンギン先生、表現エンジニアリングってプロンプトを工夫することとは違うの？

ペンギン先生

全然違うんだよ。プロンプトはAIへの「お願いの言葉」だけど、表現エンジニアリングはAIの脳の中身——内部の数値ベクトル——を直接書き換えるアプローチだよ。

ひよこ

脳の中身を書き換えるって、どうやるの？

ペンギン先生

LLMは各トークンを処理するとき、何千次元もの数値ベクトル（内部表現）を使っているんだ。そのベクトルに「正直性の方向」や「感情の方向」みたいな特定のベクトルを足し引きすると、モデルの出力が変わるんだよ。

ひよこ

じゃあ「もっと正直に答えて」という方向ベクトルを足せば、ウソをつきにくくなるの？

ペンギン先生

そのとおりだよ！実験では、「正直性ベクトル」を内部表現に加えるとモデルが嘘をつきにくくなることが確かめられているんだ。逆に「有害性ベクトル」を引けば、有害な出力を抑制できる可能性もあるよ。

ひよこ

なんか魔法みたいだけど、どうしてそんなことができるの？

ペンギン先生

LLMの内部表現空間では、「正直」「感情」「偏見」といった抽象的な概念が線形に分離できる方向として存在していると分かってきたんだ。これを「線形表現仮説」と呼ぶよ。

ひよこ

ファインチューニングとはどう違うの？

ペンギン先生

ファインチューニングはモデルの重みを再学習で更新するから時間とデータが必要だけど、表現エンジニアリングは推論時にリアルタイムで介入できるんだよ。モデルを変えずに動作を細かく制御できる点が大きな違いだね。

まとめ：ざっくりこれだけ覚えればOK！

「表現エンジニアリング」って出てきたら「LLMの内部ベクトルを操作してモデルの振る舞いを変える技術」と思えればだいたいOK！

誤り・わかりにくい説明を報告する