【じょうたいくうかんもでる】

状態空間モデル(SSM) とは?

最終更新:
💡 入力を受けて状態を更新し、情報を引き継ぐモデル

内部の「状態」がどう変わり、観測や出力にどう表れるかを記述するモデル。制御や時系列分析に使われ、AIではMambaなどの系列処理にも応用される。

📌 このページのポイント
状態を更新して情報を引き継ぐ AIで使うSSMの逐次処理の概念例 入力1 入力2 入力3 状態 h1 状態 h2 状態 h3 出力1 出力2 出力3 計算量の比較:系列長 n に対して 全体Attention O(n²) Mamba O(n) 性能・必要メモリは構成と条件で比較
状態の更新と入力・出力を示す概念図。計算量は通常の全体AttentionとMambaの比較で、SSM全般の保証ではない。
ひよこ ひよこ
SSMとMambaは、どういう関係なの?
ペンギン先生 ペンギン先生
SSMは、内部の状態とその変化を使ってシステムを表すモデルだよ。AIだけでなく、制御や時系列分析でも使う。Mambaはその考え方を系列処理に応用したAIアーキテクチャで、入力に応じて状態に残す情報を調整するんだ。
ひよこ ひよこ
Transformerと何が違うの?
ペンギン先生 ペンギン先生
通常の全体Attentionは、系列内の位置どうしの関係を計算するので、系列長nに対する計算量は二乗で増える。Mambaは状態を更新しながら情報を引き継ぎ、系列長に対して線形に処理できるよ。ただしSSMすべてに同じ計算量を当てはめるわけではないんだ。
ひよこ ひよこ
じゃあSSMの方が優れてるの?
ペンギン先生 ペンギン先生
いつも優れているわけではないよ。Mambaは生成時に過去の全トークンのKVキャッシュを保持する必要がないけれど、状態は過去の情報の完全なコピーではない。精度や速度、必要メモリは課題やモデル、実装で比べる必要があるんだ。
ひよこ ひよこ
どんな場面でSSMが活躍するの?
ペンギン先生 ペンギン先生
Mambaの論文では、言語、音声、DNA配列のモデル化を評価しているよ。長い系列を扱う選択肢になるけれど、どの科学・医療用途でも強いとか、実用化が先行しているとまでは言えない。論文の課題と利用したい課題を分けて考えよう。
ひよこ ひよこ
Transformerと組み合わせることもある?
ペンギン先生 ペンギン先生
あるよ。たとえばJambaの論文はTransformerとMambaの層を組み合わせている。Attentionと状態による処理を混ぜ、メモリや計算量と精度のバランスを取る設計だよ。将来の主流を断定するより、具体的な構成と評価条件を見るのが大切なんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「SSM(状態空間モデル)」って出てきたら「内部の状態を使って、時間に沿う変化や出力を表すモデル」と思えばだいたいOK!
📖 おまけ:英語の意味
「State Space Model」 = 状態空間モデル
💬 Stateは状態、Spaceはその状態が取り得る値の空間。状態がどう変わり、出力にどう表れるかを記述する名前だよ。古典的な状態空間モデルに着想を得たAIの系列モデルもあるんだ

参考資料

← 用語集にもどる