スパース自己符号化器（SAE） とは？

名前は長いけど役割はシンプルだよ！「AIの脳みその中身を人間がわかる形に翻訳するツール」だと思えばいいよ。

LLMには数千億のニューロンがあって、一つのニューロンが複数の無関係な概念を担当している（多意味性）という問題があるんだよ。SAEはその「ごちゃ混ぜ信号」をほどいて、概念ごとに分けてくれるんだ。

「スパース（疎）」という制約がポイントだよ。疎というのは「ほとんどの値がゼロ」という意味で、あるテキストを処理するとき、たくさんある特徴量のうち少数だけが強く反応するように学習させるんだ。これで各特徴が特定の概念に集中するんだよ。

入力を圧縮してから元に戻す「オートエンコーダー」の一種だよ。SAEはLLMの中間表現を受け取って、より高次元の疎な特徴空間に変換してから復元するんだ。その変換後の特徴が「概念単位」になっているわけだね。

Anthropicは2024年にClaudeにSAEを適用して、「ゴールデンゲートブリッジ」の概念に対応する特徴を特定したり、モデルの内部で感情に相当する状態が起きていることを発見したりしているんだよ。AIの解釈可能性研究を大きく前進させたツールなんだ。

大ありだよ！AIが危険な行動をとるとき内部でどんな特徴が反応しているか追跡できれば、事前に抑止する仕組みが作れるかもしれない。SAEはAI安全性研究の重要な武器になっているんだね。