多意味性（ポリセマンティシティ） とは？

AIの脳みそ（ニューラルネットワーク）には数億〜数千億の「ニューロン」があるんだけど、そのニューロンが一つの概念だけじゃなく、複数の無関係な概念に同時に反応する現象のことだよ。

例えば、同じニューロンが「猫の画像」「金融の数値」「数学の記号」のどれかを見たときに強く反応することがわかっている場合があるんだよ。全然関係ない概念なのに、同じニューロンが担当してしまっているんだ。

「スーパーポジション（重ね合わせ）仮説」で説明されているよ。モデルが表現できる次元数より覚えたい概念の数が多いから、複数の概念を圧縮して一つのニューロンに詰め込んでいるんだね。容量オーバーを工夫で乗り切っている感じ。

まさにそれが問題なんだよ！「このニューロンが反応した＝このAIは猫を認識した」と単純に言えなくなってしまう。AI解釈可能性の研究を難しくしている大きな壁なんだね。

スパース自己符号化器という技術を使うと、圧縮された多意味なニューロンの反応を「ほどいて」、個々の概念ごとに分離することができるんだよ。Anthropicが大規模に研究を進めていて、「このニューロンはバナナの概念に対応している」という特定もできるようになってきたんだ。