Paged Experts とは?
公開:
💡 MoEの担当部分の重みを入れ替え、GPUで計算するSGLangの機能
📌 このページのポイント
Paged Expertsは、その重みをどこに置くの?
PagedAttentionと同じ仕組みなのかな?
管理する対象が違うよ。PagedAttentionは過去のトークンから作ったKVキャッシュ、本機能はエキスパートの重みを扱うんだ。SGLang v0.5.23では任意で有効にする機能として紹介されていて、転送が増える条件では速度も落ちうるよ。