CUDA とは？

GPUはハードウェアで、CUDAはそのGPUに「こう計算して！」って指示を出すためのソフトウェア基盤だよ。GPUが車のエンジンなら、CUDAはエンジンを動かすための燃料と制御システムみたいなものだね

ディープラーニングって大量の行列計算の塊なんだ。CPUは「一つの複雑な計算を高速にやる」のが得意だけど、GPUは「シンプルな計算を数千個同時にやる」のが得意。CUDAコアが何千個もあるから、行列演算が一気に並列処理できるんだよ

CUDAが汎用の並列計算基盤で、cuDNNはその上に乗っかるディープラーニング専用の最適化ライブラリだよ。畳み込みとかプーリングとか、ニューラルネットでよく使う処理をNVIDIAが徹底的にチューニングしてくれてるんだ

そうそう。`.cuda()`とか`device='cuda'`って書くだけで裏側でCUDAが全部やってくれる。ただね、ベテランでも意外と知らないのが「CUDAバージョンとドライバの互換性問題」なんだ

CUDAツールキット、NVIDIAドライバ、PyTorchのビルドバージョン、この3つの組み合わせが合わないと動かないんだよ。しかもCUDAのマイナーバージョン違いでも動かないことがある。環境構築で「GPU認識しない！」ってハマる原因の大半がこれだね。あとCUDAのメモリ管理はCPUとは別なので、`torch.cuda.empty_cache()`を知らないとOOM（メモリ不足）で泣くことになるよ