メモリ帯域幅 とは？

メモリ容量が「バケツの大きさ」だとしたら、帯域幅は「水道管の太さ」だよ。バケツが大きくても水道管が細いと水が流れるのに時間がかかるよね。プロセッサにデータを送る速度のことなんだ。

最近のGPUは計算能力がものすごく高いんだけど、計算に必要なデータをメモリから読み出す速度が追いつかないことがあるんだ。いくら速い調理器具があっても、食材が届かなければ料理できないよね。

そうなんだ。大規模言語モデルの学習では数十GBのパラメータを何度もメモリから読み書きするから、帯域幅が足りないとGPUが待ち時間だらけになるんだよ。だからAI向けGPUにはHBMという超高帯域メモリが使われるんだ。

主に3つの方法があるよ。クロック周波数を上げる、バス幅（一度に送るデータの道幅）を広げる、そしてHBMのようにメモリを積層して並列度を上げる方法だね。

DDR5メモリが約50〜60GB/s、GDDR6Xが約1TB/s、HBM3eだと約4.8TB/sにもなるよ。AI学習用のNVIDIA H100はHBM3を使って3.35TB/sの帯域を持っているんだ。この数字の差が、そのまま処理速度の差につながるんだね。