【じーきゅーえー】
GQA(Grouped-Query Attention) とは?
公開:
💡 複数のQueryヘッドをグループに分け、Key・Valueを共有するアテンション方式
📌 このページのポイント
LLMの仕様にGQAと書いてあったよ。
アテンションのKeyとValueを、Queryヘッドのグループで共有する設計だよ。複数の担当者がグループごとに同じ資料を使うイメージだね。
何を減らせるの?
ヘッドごとに別々のKeyとValueを持つMHAと比べ、保存するKVの量を減らす狙いがあるよ。モデル全体のメモリが同じ割合で減るわけではないんだ。
MQAも共有する方式だよね?
MQAは全Queryヘッドで一組のKVヘッドを使う。GQAは複数のグループに分けるよ。共有の度合いとモデル品質のバランスを考える設計なんだ。
今のモデルに設定を入れれば使える?
基本的にはモデル構造の違いだよ。GQA論文には既存モデルを追加学習で変換する方法もあるけれど、推論時の切り替え一つで同じモデルになるわけではないね。
まとめ:ざっくりこれだけ覚えればOK!
「GQA(Grouped-Query Attention)」って出てきたら「グループごとにKey・Valueを共有するアテンション」と思えばだいたいOK!