Mambaモデル とは？

最初のMambaは、attentionを使わず、選択的状態空間モデルを中心に系列を処理する構成だよ。それまでの情報を状態にまとめ、次の入力に応じて更新する。全ての過去のトークンをそのまま保存する仕組みとは違うんだ。

どの情報を状態に残し、どう更新するかが入力の内容によって変わるということだよ。具体的には、SSMの一部のパラメーターを入力から計算する。人が重要な単語を手で指定するのではなく、学習した仕組みで調整するんだ。

Mambaは系列長nに対してO(n)の計算量になる設計だよ。一方、標準的な密なself-attentionで全系列を処理する計算量はO(n²)。ただし、この増え方と実際の速度は別で、モデルの大きさ・実装・機器などによって速度は変わるんだ。

原論文では音声やDNAも評価しているよ。長い系列を扱うための一つの構成だけれど、効率がよいことと、全ての課題で品質が高いことは同じではない。自分のタスクに合うかは評価が必要なんだ。