【じーきゅーえー】

GQA(Grouped-Query Attention) とは?

公開:
💡 複数のQueryヘッドをグループに分け、Key・Valueを共有するアテンション方式
📌 このページのポイント
QueryがKey・Valueを共有 QueryKey・ValueQ1Q2Q3Q4KVKVグループごとに一組
Queryヘッド4つの説明用の例。GQAはグループごと、MQAは全Queryで一組のKVヘッドを共有します。
ひよこ ひよこ
LLMの仕様にGQAと書いてあったよ。
ペンギン先生 ペンギン先生
アテンションのKeyとValueを、Queryヘッドのグループで共有する設計だよ。複数の担当者がグループごとに同じ資料を使うイメージだね。
ひよこ ひよこ
何を減らせるの?
ペンギン先生 ペンギン先生
ヘッドごとに別々のKeyとValueを持つMHAと比べ、保存するKVの量を減らす狙いがあるよ。モデル全体のメモリが同じ割合で減るわけではないんだ。
ひよこ ひよこ
MQAも共有する方式だよね?
ペンギン先生 ペンギン先生
MQAは全Queryヘッドで一組のKVヘッドを使う。GQAは複数のグループに分けるよ。共有の度合いとモデル品質のバランスを考える設計なんだ。
ひよこ ひよこ
今のモデルに設定を入れれば使える?
ペンギン先生 ペンギン先生
基本的にはモデル構造の違いだよ。GQA論文には既存モデルを追加学習で変換する方法もあるけれど、推論時の切り替え一つで同じモデルになるわけではないね。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「GQA(Grouped-Query Attention)」って出てきたら「グループごとにKey・Valueを共有するアテンション」と思えばだいたいOK!

参考資料

← 用語集にもどる