【えむえいちえー】

MHA(Multi-Head Attention) とは?

公開:
💡 複数のアテンションヘッドで情報を捉え、結果を組み合わせる仕組み
📌 このページのポイント
複数の計算を組み合わせる 同じ入力H1H2H3連結して変換
ヘッド3つの説明用の例。各ヘッドの結果は多数決ではなく、連結と変換で組み合わせます。
ひよこ ひよこ
アテンションに頭がいくつもあるの?
ペンギン先生 ペンギン先生
頭脳が何個もあるという意味ではないよ。入力を別々の変換で表し、複数のアテンション計算を並べる。その各計算をヘッドと呼ぶんだ。
ひよこ ひよこ
ヘッドごとに文法担当や意味担当になる?
ペンギン先生 ペンギン先生
必ずそんな担当分けになるわけではないね。図では異なる見方として表せるけれど、役割が固定された人のチームではなく、学習された数値計算なんだ。
ひよこ ひよこ
結果は多数決で決める?
ペンギン先生 ペンギン先生
多数決ではないよ。原論文の構成では各ヘッドの結果を連結し、さらに変換して出力する。複数の表現を組み合わせる仕組みだね。
ひよこ ひよこ
GQAやMQAとの違いは?
ペンギン先生 ペンギン先生
LLMでは、KeyとValueをどう共有するかに注目して比べるよ。MHAはヘッドごと、GQAはグループごと、MQAは一組を共有する構成として説明されるんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「MHA(Multi-Head Attention)」って出てきたら「複数のアテンション計算の結果を組み合わせる仕組み」と思えばだいたいOK!

参考資料

← 用語集にもどる