Paged Experts とは?

公開:
💡 MoEの担当部分の重みを入れ替え、GPUで計算するSGLangの機能
📌 このページのポイント
足りない重みだけ、GPUへ 例:次の処理には担当A・Bが必要 ホストのRAM A B C D 重みを保持する棚 GPUの限られた枠 A B ここで計算 Aは残して再利用 Bを転送 転送が増えると、その分の負担も増える
A〜Dと2枠は仕組みを示す仮の例です。実際の担当数やGPUに置く量はモデルと設定で変わり、計算はGPUで行います。
ひよこ ひよこ
MoEは一部だけ計算するのに、なぜGPUのメモリーが足りなくなるの?
ペンギン先生 ペンギン先生
一度に働くエキスパートは一部でも、ほかの担当の重みも後で必要になるからだよ。担当とは計算を受け持つ小さなネットワーク、重みとはその計算に使う数値なんだ。計算量と保存容量は別の問題だね。
ひよこ ひよこ
Paged Expertsは、その重みをどこに置くの?
ペンギン先生 ペンギン先生
ホスト側のRAMに保持し、GPUには一部を置くよ。次の処理で使う担当の重みがGPUになければ転送する。担当の選び方を変えるのではなく、選ばれた重みの置き場所を管理するんだ。
ひよこ ひよこ
GPUに置かない分はCPUで計算するの?
ペンギン先生 ペンギン先生
この機能では、必要な重みを運んでからGPUで計算するよ。一部のMoE層をCPUで計算する方式とは違うんだ。ただし「CPUオフロード」という呼び名だけでは、計算場所までは決まらないよ。
ひよこ ひよこ
PagedAttentionと同じ仕組みなのかな?
ペンギン先生 ペンギン先生
管理する対象が違うよ。PagedAttentionは過去のトークンから作ったKVキャッシュ、本機能はエキスパートの重みを扱うんだ。SGLang v0.5.23では任意で有効にする機能として紹介されていて、転送が増える条件では速度も落ちうるよ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「Paged Experts」って出てきたら「MoEの重みをGPUへ必要に応じて持ってくる仕組み」と思えばだいたいOK!

参考資料

← 用語集にもどる