【でぃーぷいーぴー】
DeepEP とは？
公開:
💡 担当のエキスパートへ配り、答えを集める配送役
DeepEPは、DeepSeekが公開する機械学習向けの通信ライブラリ。MoEで入力を担当するエキスパートへ配り、結果をまとめる専門家並列の通信などを支えます。Ascend向け実装はDeepEP-Ascendとして提供されています。
📌 このページのポイント
ひよこ ペンギン先生、DeepEPは行列を計算する道具？
ひよこ dispatchとcombineって何？
ペンギン先生 dispatchは担当へ入力を配ること、combineは戻ってきた結果をまとめることだよ。複数の機器へエキスパートを分けて置くと、計算だけでなく通信の効率も大切になるね。
ひよこ DeepGEMMとは役割が違う？
ひよこ Ascend版も同じ環境で動く？
📖 おまけ：英語の意味
「DeepEveryParallel」 ＝ DeepEPの正式な呼び名
💬 公式READMEではDeepEveryParallelと説明されているよ。EPは専門家並列の通信を読む際にも出てくる表記だね。