【まんばもでる】
Mambaモデル とは？
公開:
💡 記憶を絞り込みながら先を読む、省エネな次世代AI
📌 このページのポイント
- Transformerのattentionはトークン数nに対してO(n²)の計算量だが、MambaはO(n)で済む
- 入力に応じてゲートを動的に制御する「選択的状態空間」が核心技術
- 長文書・音声・DNAシーケンスなど長い系列データの処理が得意
- TransformerとMambaを組み合わせたハイブリッドモデルも登場している
ひよこ ペンギン先生、最近「Mamba」っていうAIモデルの名前をよく見るんだけど、Transformerと何が違うの？
ペンギン先生 ひよこ Transformerの何が問題だったの？
ペンギン先生 Transformerのattentionはトークン数nに対してO(n²)の計算量が必要なんだよ。文章が2倍長くなると、計算量は4倍になる。だから超長い文章や音声を処理するときにとても重くなるんだ。
ひよこ MambaはそれをO(n)で解決するんだね！でも「選択的状態空間」って何なの？
ペンギン先生 普通のSSMは入力に関係なく固定のフィルタで情報を処理するんだけど、Mambaは入力の内容によってどの情報を保持してどれを捨てるかをダイナミックに切り替えるんだよ。これが「選択的（selective）」と呼ばれる理由だね。
ひよこ じゃあMambaはTransformerに完全に取って代わるの？
ペンギン先生 今のところはそうじゃないよ。Mambaは長いシーケンスの処理は得意だけど、複雑な推論や文脈理解ではTransformerがまだ強いケースも多い。だからTransformerとMambaを組み合わせた「ハイブリッドモデル」を研究する動きも出てきているんだ。
ひよこ DNA解析や音声処理でも使われているって読んだけど、それはなぜなの？
ペンギン先生 DNAの塩基配列や音声波形は何万〜何百万ステップにもなる超長いシーケンスだからね。Transformerだとメモリが爆発するような長さでも、MambaのO(n)設計なら現実的な時間で処理できるんだよ。これが生命科学や音声AI分野で注目を集めている理由だね。
まとめ：ざっくりこれだけ覚えればOK！
「Mambaモデル」って出てきたら「Transformerより効率的な長文処理モデル」と思えればだいたいOK！
📖 おまけ：英語の意味
「Mamba」 ＝ マンバ（アフリカのヘビから命名）
💬 2023年にAlbert GuとTri Daoが発表した論文のモデル名で、高速さをヘビのマンバに例えて名付けられた名前だよ