【てんそるへいれつ】
テンソル並列(TP) とは?
公開:
💡 モデル内部の大きなテンソルの計算を、複数のGPUへ分担する並列化
📌 このページのポイント
モデルが一つのGPUに入らないとき、分けられる?
GPUごとに別の質問を解くの?
GPUを増やせば比例して速くなる?
分担した結果の交換にも時間がかかるよ。GPU間通信が遅いと、計算を分けた利点を打ち消すこともある。モデルと接続の両方を見るんだ。
パイプライン並列とは併用できる?
対応する実装では併用できるよ。層の中を分ける方法と、層のまとまりを分ける方法を組み合わせる。使うGPU数だけでなく、メモリと通信を見て設計しよう。