【えむきゅーえー】
MQA(Multi-Query Attention) とは?
公開:
💡 複数のQueryヘッドが、一組のKey・Valueヘッドを共有するアテンション方式
📌 このページのポイント
MQAは、アテンションを一つに減らすの?
Queryヘッドは複数あるよ。その複数のQueryが、一組のKeyとValueのヘッドを共有するのがMQAなんだ。
なぜ共有するの?
生成中に使うKVキャッシュを小さくし、読み出しの負担を減らす狙いがあるよ。複数の担当者が一つの資料棚を使うイメージだね。
GQAとの違いは?
MQAならいつも良いモデル?
キャッシュを減らすことと回答の品質は別だよ。元のモデルを単純に置き換えても同じ結果になるとは限らない。目的に合う品質を評価する必要があるんだ。
まとめ:ざっくりこれだけ覚えればOK!
「MQA(Multi-Query Attention)」って出てきたら「複数のQueryが一組のKey・Valueを使う方式」と思えばだいたいOK!