バッチサイズ とは？

メモリが足りないんだよ。100万件のデータを全部同時にGPUに乗せようとしてもメモリが溢れてしまう。だからデータを小さなかたまり（ミニバッチ）に分けて少しずつ処理するのが現実的なんだ。

小さいバッチは計算にランダム性が高くなって、局所最適を抜け出しやすくなることがあるんだよ。「ノイズの多い勾配」が正則化のような効果を持つんだ。一方で計算が不安定になりやすいし、GPU利用率が下がって遅くなる欠点もある。

GPUのメモリ管理が2の累乗単位で最適化されているからだよ。33や65といった中途半端な数だとメモリの使い方が非効率になって、処理が遅くなることがある。慣例と最適化の両方の理由があるんだ。

計算の話は少し複雑でね、バッチサイズを大きくすると1エポックあたりの更新回数が減るから、エポックごとの学習量は変わる。さらに「大バッチサイズは汎化性能が下がる」という論文が2016年に発表されて議論になったんだけど、その後「学習率を適切にスケーリングすれば大バッチでも問題ない」という反論も出てきた。正確には「シャープな最小値 vs フラットな最小値」の問題で、大バッチはシャープな最小値に収束しやすくてテストデータで精度が落ちやすい。これは現在も研究中のテーマで、バッチサイズ選びは単純な「大きい・小さい」だけじゃ語れないんだよ。