【えむえいちえー】
MHA(Multi-Head Attention) とは?
公開:
💡 複数のアテンションヘッドで情報を捉え、結果を組み合わせる仕組み
📌 このページのポイント
アテンションに頭がいくつもあるの?
頭脳が何個もあるという意味ではないよ。入力を別々の変換で表し、複数のアテンション計算を並べる。その各計算をヘッドと呼ぶんだ。
ヘッドごとに文法担当や意味担当になる?
必ずそんな担当分けになるわけではないね。図では異なる見方として表せるけれど、役割が固定された人のチームではなく、学習された数値計算なんだ。
結果は多数決で決める?
多数決ではないよ。原論文の構成では各ヘッドの結果を連結し、さらに変換して出力する。複数の表現を組み合わせる仕組みだね。
まとめ:ざっくりこれだけ覚えればOK!
「MHA(Multi-Head Attention)」って出てきたら「複数のアテンション計算の結果を組み合わせる仕組み」と思えばだいたいOK!