アテンション機構 とは？

翻訳では、入力文を一つの固定長ベクトルだけに詰め込むと情報が不足しやすいという課題があったんだ。出力する単語に応じて入力の各部分へ重みを付ける方法が提案されたよ。現在は翻訳以外でも、系列内や系列間の情報を結び付けるために使われる。

トランスフォーマーの代表的な方式では、Queryは情報を探す側、Keyは対応度を比べる側、Valueは混ぜる情報を表すベクトルだよ。QとKの内積を尺度調整し、softmaxで重みに変え、その重みでVを足し合わせる。単に最も似た一つの単語を選ぶだけではないんだ。

自己アテンションは同じ系列からQ・K・Vを作り、系列内の関係を扱うよ。交差アテンションではQとK・Vが別の系列に由来する。翻訳の出力側が入力側の情報を見るのはその例。次のトークンを予測する自己アテンションでは、未来のトークンを見ないように制限することもある。

複数の学習した変換でアテンションを並行計算し、結果を結合する仕組みだよ。異なる関係を捉えられるけれど、各ヘッドの仕事をあらかじめ「文法担当」などと決めているわけではない。どんな関係を学ぶかは学習の結果によるんだ。

全トークンの組合せを見る標準的な自己アテンションは、他の条件を固定すると系列長Nに対して二乗で計算量が増えるよ。実行時間が常にぴったり4倍になるという意味ではない。FlashAttentionはメモリーとのデータ転送を減らす工夫で、全組合せの計算量そのものが線形になるわけではないんだ。