【ぱいぷらいんへいれつ】
パイプライン並列(PP) とは?
公開:
💡 モデルの層を複数の実行先に分け、順に処理をつなぐ並列化
📌 このページのポイント
AIモデルにも工場の流れ作業があるの?
似た考え方だよ。モデルの層をいくつかの段階に分け、別々のGPUへ置く。前の段階の結果を次へ渡して計算するのがパイプライン並列なんだ。
全部のGPUが同時に同じ入力を処理する?
待っているGPUはなくなる?
完全にはなくせないよ。最初に流れを満たすときや最後に処理を終えるとき、段階の計算量が偏るときには空きが出る。これをパイプラインのバブルと呼ぶことがあるね。
テンソル並列との選び方は?
モデルの形、GPUごとのメモリ、通信の速さで変わるよ。層単位で分ける方法と層内を分ける方法は併用もできる。どちらが常に優秀とは言えないんだ。
まとめ:ざっくりこれだけ覚えればOK!
「パイプライン並列(PP)」って出てきたら「モデルの層を分け、段階ごとに処理をつなぐ方式」と思えばだいたいOK!