アテンション機構 とは？

翻訳の課題から生まれたんだ。「彼女は市場で古い自転車と傘を売っている女性に会った」という文章を英語に訳すとき、「古い」が「自転車」だけにかかるのか「自転車と傘」両方にかかるのかを正しく判断する必要がある。離れた単語の関係を捉えるためにアテンションが考案されたんだよ。

Query・Key・Valueという三つの要素を使うんだ。Queryは「何を探しているか」、Keyは「各単語のラベル」、Valueは「実際の情報」。QueryとKeyの類似度を計算して注目度（ウェイト）を求め、それをValueに掛け合わせて出力を作る。図書館で「この本に関連するものを探して」と検索するイメージだよ。

アテンションを並行して複数回計算するんだ。「文法的な関係」「意味的な関係」「主語と目的語の関係」など、異なる種類の関係性を同時に複数の「ヘッド」で捉えて、最後に合わせるんだよ。複数の視点から関係性を見るから、一つのアテンションより豊かな表現が学べるんだ。

これが大規模言語モデルの大きな課題でね。標準的なアテンションは入力の長さをNとしたとき計算量がN²（二乗）になるんだ。文章が2倍長くなると計算が4倍になる。だから長いコンテキストを扱うのに非常にコストがかかる。この問題を解決するために「Sparse Attention（疎なアテンション）」「Flash Attention（効率的なGPUメモリアクセス）」「Linear Attention」など様々な手法が提案されていて、「どうやってN²の壁を破るか」は今でも活発に研究されている重要テーマなんだよ。