Mixture of Depths とは？

MoEは各層で「どの専門家モジュールを使うか」を選ぶ仕組み、つまり「幅」の最適化だよ。一方、Mixture of Depths（MoD）は「何層まで処理するか」を決める「深さ」の最適化なんだ。概念は似ているけど最適化する軸が違うよ。

たとえば「は」「が」「の」のような助詞トークンは文の意味にあまり影響しないから、2〜3層で処理を終えてスキップするんだ。逆に「量子コンピュータ」のような専門用語や文脈を左右する単語は全12層・全24層をフルに使って丁寧に処理するよ。

「ルーター」と呼ばれる小さなニューラルネットワークが各層の入り口でトークンのスコアを計算して判断するよ。スコアが閾値を下回ったらその層をスキップして次の層の出力をそのまま引き継ぐんだ。このルーター自体も学習で最適化されるよ。

論文では同じFLOPS（計算量）でトークンを約2倍処理できるケースが示されているよ。言い換えると、同じ品質を半分のコストで達成できるともいえるんだ。大規模モデルの学習コストが問題になっている今、注目されているアーキテクチャの一つだよ。

できるよ！実際に幅（MoE）と深さ（MoD）の両方を同時に最適化する研究も進んでいるんだ。「どの専門家を使い」「何層まで処理するか」を同時に決めることで、さらに効率的なモデルが作れる可能性があるよ。