【ぱいぷらいんへいれつ】

パイプライン並列(PP) とは?

公開:
💡 モデルの層を複数の実行先に分け、順に処理をつなぐ並列化
📌 このページのポイント
前半と後半の層を分担 GPU AGPU B前半の層後半の層層の順番をつないで処理
モデルを層のまとまりで分ける例です。一つの入力の処理順は守り、複数処理をずらして流します。
ひよこ ひよこ
AIモデルにも工場の流れ作業があるの?
ペンギン先生 ペンギン先生
似た考え方だよ。モデルの層をいくつかの段階に分け、別々のGPUへ置く。前の段階の結果を次へ渡して計算するのがパイプライン並列なんだ。
ひよこ ひよこ
全部のGPUが同時に同じ入力を処理する?
ペンギン先生 ペンギン先生
一つの入力には順番があるよ。複数の小さな処理をずらして流すと、あるGPUが前半、別のGPUが別の処理の後半を担当できるんだ。
ひよこ ひよこ
待っているGPUはなくなる?
ペンギン先生 ペンギン先生
完全にはなくせないよ。最初に流れを満たすときや最後に処理を終えるとき、段階の計算量が偏るときには空きが出る。これをパイプラインのバブルと呼ぶことがあるね。
ひよこ ひよこ
テンソル並列との選び方は?
ペンギン先生 ペンギン先生
モデルの形、GPUごとのメモリ、通信の速さで変わるよ。層単位で分ける方法と層内を分ける方法は併用もできる。どちらが常に優秀とは言えないんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「パイプライン並列(PP)」って出てきたら「モデルの層を分け、段階ごとに処理をつなぐ方式」と思えばだいたいOK!

参考資料

← 用語集にもどる