【えむきゅーえー】

MQA(Multi-Query Attention) とは?

公開:
💡 複数のQueryヘッドが、一組のKey・Valueヘッドを共有するアテンション方式
📌 このページのポイント
QueryがKey・Valueを共有 QueryKey・ValueQ1Q2Q3Q4KV全Queryで一組
Queryヘッド4つの説明用の例。GQAはグループごと、MQAは全Queryで一組のKVヘッドを共有します。
ひよこ ひよこ
MQAは、アテンションを一つに減らすの?
ペンギン先生 ペンギン先生
Queryヘッドは複数あるよ。その複数のQueryが、一組のKeyとValueのヘッドを共有するのがMQAなんだ。
ひよこ ひよこ
なぜ共有するの?
ペンギン先生 ペンギン先生
生成中に使うKVキャッシュを小さくし、読み出しの負担を減らす狙いがあるよ。複数の担当者が一つの資料棚を使うイメージだね。
ひよこ ひよこ
GQAとの違いは?
ペンギン先生 ペンギン先生
GQAはグループごとにKVを共有する。MQAは全Queryヘッドで一組を共有するよ。MHAはそれぞれのヘッドが自分のKVを持つんだ。
ひよこ ひよこ
MQAならいつも良いモデル?
ペンギン先生 ペンギン先生
キャッシュを減らすことと回答の品質は別だよ。元のモデルを単純に置き換えても同じ結果になるとは限らない。目的に合う品質を評価する必要があるんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「MQA(Multi-Query Attention)」って出てきたら「複数のQueryが一組のKey・Valueを使う方式」と思えばだいたいOK!

参考資料

← 用語集にもどる