ミニバッチ勾配降下法 とは？

全データで勾配を求めるフルバッチ、1件で求める方式、少量をまとめるミニバッチに分けて考えられるよ。SGDという名前は、1件ずつだけでなくミニバッチを使う学習にも使われるので、名称だけで更新に使う件数を決めつけないようにしよう。

件数に固定の範囲はないよ。バッチサイズを、モデルやGPUメモリなどに合わせて決めるんだ。図は12件を4件ずつ使う仮の例で、1回の更新に4件、1エポックで3回更新する。1エポックは訓練データを一巡する単位だよ。

全データを使った勾配の計算を待たずに更新できるし、同時に扱うデータの量も抑えられるよ。複数の勾配を平均することで、独立にサンプルを選ぶなどの条件では1件だけよりばらつきが小さくなる。ただしバッチを大きくすれば必ずよい学習になるわけではないんだ。

複数のサンプルをまとめた行列計算などを並列に処理しやすいからだよ。ただし小さすぎると処理の効率が落ち、大きすぎるとメモリに収まらない場合がある。バッチサイズだけでなく、学習率や更新回数も合わせて評価しよう。

必ずではないよ。選んだバッチによって勾配が変わるし、学習率が大きすぎると不安定にもなる。全体の損失や学習に使っていないデータでの結果を確認しよう。「少量ずつだからいつも速くて安定」とは言い切れないんだ。