【にっくる】

NCCL(ニックル) とは?

公開:
💡 複数のGPUの間でデータを交換・集約する通信ライブラリ
📌 このページのポイント
GPU同士で結果を共有 値:2値:3足して、両方へ結果:5結果:5
足し算のAllReduceを2台で示す例。NCCLは集合通信などを提供するライブラリで、接続規格そのものではありません。
ひよこ ひよこ
GPUを何枚も使うと、計算結果の連絡はどうするの?
ペンギン先生 ペンギン先生
その連絡を支えるライブラリの一つがNCCLだよ。複数GPUのデータを集める、配る、足し合わせて共有するといった通信を扱うんだ。
ひよこ ひよこ
AllReduceって何をするの?
ペンギン先生 ペンギン先生
各GPUが持つ値を、足し算などの演算でまとめ、その結果を全参加GPUへ渡す集合通信だよ。単に一つのGPUから送るだけとは役割が違うね。
ひよこ ひよこ
NVLinkと同じもの?
ペンギン先生 ペンギン先生
NVLinkはGPUなどをつなぐ接続技術。NCCLは通信の手順を使いやすくするライブラリだよ。実際の構成に応じた接続を利用するんだ。
ひよこ ひよこ
NCCLがあれば並列化は完成?
ペンギン先生 ペンギン先生
モデルの分け方や処理の順序は別に設計するよ。NCCLはGPU間通信を担当し、深層学習フレームワークなどから利用される。通信が詰まれば全体にも影響するんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「NCCL(ニックル)」って出てきたら「GPU同士がデータを交換・集約するためのライブラリ」と思えばだいたいOK!

参考資料

← 用語集にもどる