【てんそるへいれつ】

テンソル並列(TP) とは?

公開:
💡 モデル内部の大きなテンソルの計算を、複数のGPUへ分担する並列化
📌 このページのポイント
一つの層の計算を分担 一つの層の大きな行列GPU AGPU B
行列計算を分ける概念図です。実際の分割軸や通信はモデルと実装で異なります。
ひよこ ひよこ
モデルが一つのGPUに入らないとき、分けられる?
ペンギン先生 ペンギン先生
方法の一つがテンソル並列だよ。モデル内の大きな行列などの計算を分割し、複数GPUへ担当させるんだ。
ひよこ ひよこ
GPUごとに別の質問を解くの?
ペンギン先生 ペンギン先生
それはデータ並列に近い使い方。テンソル並列は、一つのモデルの計算自体を分担するよ。同じ層を複数GPUで計算する構成が代表例だね。
ひよこ ひよこ
GPUを増やせば比例して速くなる?
ペンギン先生 ペンギン先生
分担した結果の交換にも時間がかかるよ。GPU間通信が遅いと、計算を分けた利点を打ち消すこともある。モデルと接続の両方を見るんだ。
ひよこ ひよこ
パイプライン並列とは併用できる?
ペンギン先生 ペンギン先生
対応する実装では併用できるよ。層の中を分ける方法と、層のまとまりを分ける方法を組み合わせる。使うGPU数だけでなく、メモリと通信を見て設計しよう。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「テンソル並列(TP)」って出てきたら「モデル内部の計算を複数GPUへ分担する方式」と思えばだいたいOK!

参考資料

← 用語集にもどる