Mixture of Depths とは？

MoDは各ブロックで「計算するか、迂回するか」を選ぶ方式だよ。あるトークンが途中のブロックを迂回しても、後のブロックで再び計算されることがある。途中で処理を終えて残りの層をすべて飛ばすEarly Exitとは違うんだ。

そうした固定のルールではないよ。ルーターが現在のトークンの表現からスコアを計算し、文脈や学習した判断に基づいて配分する。「この単語なら必ず何層」と決まっているわけではないんだ。

論文の学習方法では、各ブロックで計算に参加する数kをあらかじめ決め、スコアの上位k個を選ぶよ。処理する数を固定して計算枠を予測しやすくしながら、どのトークンを選ぶかは動的に変える。生成時には未来のトークンを見ずに判断するための工夫も必要なんだ。

捨てられないよ。選ばれなかったトークンは、そのブロックの自己注意やMLPの計算を迂回し、入力の表現を残差接続で引き継ぐんだ。ただし、そのブロックの自己注意に参加するトークンも選ばれた集合に限られるので、通常のTransformerと同じ計算を単に後回しにしているわけではないよ。

MoEが専門家モジュールへの配分を選ぶのに対し、MoDはブロックの計算への参加を選ぶ。論文では両方を組み合わせたMoDEも検討されているよ。効率化の結果はモデルや計算枠、評価条件で変わるので、「いつでも同じ品質でコスト半分」とは言えないんだ。