メモリ帯域幅 とは？

メモリ容量が「バケツの大きさ」だとしたら、帯域幅は「水道管の太さ」だよ。バケツが大きくても水道管が細いと水が流れるのに時間がかかるよね。プロセッサにデータを送る速度のことなんだ。

最近のGPUは計算能力がものすごく高いんだけど、計算に必要なデータをメモリから読み出す速度が追いつかないことがあるんだ。いくら速い調理器具があっても、食材が届かなければ料理できないよね。

AIでも、読み書きするデータ量に対して計算が少ない処理では問題になりやすいよ。一方、データを再利用して大量の計算を行う処理は、計算能力が上限になることもある。AI向けGPUにはHBMを使う製品があるけれど、学習全体が必ずメモリ帯域で決まるわけではないんだ。

1秒当たりの転送回数を増やすか、同時に送れるデータ幅を広げるのが基本だよ。独立したメモリチャネルを並列に使う構成もある。ただし、メモリを増設すれば必ず帯域が増えるわけではなく、CPUや基板の対応構成、実際の動作速度を確認する必要があるよ。

例えばDDR5-4800が4800MT/s、データ幅が合計64ビットで動く構成なら、理論値は4800×64÷8＝38400MB/s、つまり38.4GB/sだよ。MT/sには1秒当たりの転送回数が含まれるから、DDRだからといってさらに2倍にはしない。実際には待ち時間などがあり、この理論値やアプリの処理速度を保証する数字ではないよ。