GPGPU とは？

GPUはもともとグラフィックス向けに発展したプロセッサーだよ。その並列処理能力を、描画以外の計算にも使うことがGPGPU。すべてのGPUのコア数が同じという意味ではなく、多数の処理を並行して進める特徴を使うんだ。

CPUでも計算できるし、複数のスレッドなどで並列処理もできるよ。GPUは、多数の処理を並列に進める用途に向いている。細かな分岐や、順番に依存する処理などでは、GPUに移すだけで速くなるとは限らないんだ。

行列演算などをGPU向けに実装したライブラリを利用できるよ。CPUは1個ずつしか計算できないという説明は正確ではない。速さはデータ量、計算の構成、機器などによるので、数週間が必ず数時間になるといった固定の倍率では説明できないんだ。

CUDAはNVIDIAのGPUを計算に使うプラットフォームだよ。対応するライブラリやAIのフレームワーク経由でも使える。OpenCLは、GPUに加えてCPUなどの異なる処理装置を対象にした並列プログラミングの標準なんだ。

CUDAのモデルでは、CPU側で始めたプログラムがGPUの処理を起動し、データのコピーや完了待ちなども行えるよ。CPUとGPUの役割を分担する。計算だけでなく必要なデータの移動なども含めて、構成を考えるんだ。