【すぱーすあてんしょん】
スパースアテンション とは？
公開:
💡 全員と話さず要点だけ交わす会議術
📌 このページのポイント
- 計算量をO(n²)からO(n√n)などに削減できる
- 長文・長いコンテキストの処理に有効
- LongformerやBigBirdなどで採用されている
ひよこ ペンギン先生、Transformerって長い文章が苦手って聞いたんだけどなんで？
ひよこ トークンが増えるたびに計算が爆発的に増えちゃうんだね！
ペンギン先生 そう、それをO(n²)問題って言うよ。スパースアテンションはこれを解決するために「全員と話すんじゃなく、近くにいる人や重要な人とだけ話す」という発想で計算量を減らすんだよ。
ひよこ どうやって「重要な人だけ」を選ぶの？
ひよこ Longformerって聞いたことあるんだけど、それもそういう仕組み？
ペンギン先生 そうだよ。Longformerは局所アテンションとグローバルアテンションを組み合わせていて、数千トークンでも扱えるようにしているんだよ。BigBirdもランダムアテンションを追加した似た手法だよ。
ひよこ 計算を省いても精度は落ちないの？
まとめ：ざっくりこれだけ覚えればOK！
「スパースアテンション」って出てきたら「全トークンではなく一部だけ注目して計算を省くアテンションの工夫」と思えればだいたいOK！
📖 おまけ：英語の意味
「Sparse Attention」 ＝ 疎なアテンション
💬 「疎（sparse）」は数学用語で「ほとんどゼロ」という意味だよ。全員に目を配らず大事な相手だけ見るイメージ