【アテンションシンク】

アテンションシンクとは？

公開: 2026年8月14日

💡 教室の先生がいつも最前列の一人だけを見てしまう、それがアテンションシンク

LLMのアテンション機構で、先頭のトークン（改行や文頭記号など）が異常に高いアテンション重みを集め続ける現象。長文脈では本来重要なトークンへの注意が薄まる原因になる。

📌 このページのポイント

アテンションシンク：先頭トークンだけが異常に高い重みを集める

ひよこ

アテンションシンクって、アテンションがどこかに吸い込まれるってこと？

ペンギン先生

そうだよ。LLMはトークンどうしの関連度を「アテンション重み」で表すんだけど、なぜか文章の先頭トークンに重みが極端に集まりやすい現象のことをアテンションシンクと言うんだ。

ひよこ

先頭トークンって、たとえばどんなもの？

ペンギン先生

改行文字「\n」や文頭記号「<s>」みたいな、意味的にはあまり重要じゃないトークンが多いんだよ。それなのにアテンション重みの大部分を受け取ってしまうんだ。

ひよこ

それって何か悪いことが起きるの？

ペンギン先生

文脈が長くなるほど問題が大きくなるんだよ。本来は重要な情報を持つトークンへの注意が薄まって、モデルが長い文章の後半を「忘れやすく」なる原因になるんだ。

ひよこ

StreamingLLMってどんな対策をしているの？

ペンギン先生

StreamingLLMは「シンクトークン」として先頭トークンを意図的に残したまま推論するアーキテクチャだよ。無理にアテンションを均等にしようとせず、シンクを利用して安定した推論を実現しているんだ。

ひよこ

欠点を逆に活かす発想なんだね、すごいね！

ペンギン先生

まさにそうなんだよ。アテンションシンクの仕組みを理解することで、長文対応や無限長ストリーミング生成への応用研究が進んでいるんだ。

まとめ：ざっくりこれだけ覚えればOK！

「アテンションシンク」って出てきたら「先頭トークンにアテンションが集中する現象」と思えればだいたいOK！

📖 おまけ：英語の意味

「Attention Sink」＝アテンションの排水口・吸い込み口

💬 水が排水口（sink）に集まるように、アテンション重みが先頭トークンに吸い込まれていく様子を例えた呼び方だよ

アテンションシンク とは？