確率的勾配降下法（SGD） とは？

普通の勾配降下法は全部のデータを見てから1回パラメータを更新するんだけど、確率的勾配降下法はランダムに1つか少数のデータだけ見てすぐ更新するんだよ。テストの採点に例えると、全員分まとめて採点してから傾向を分析するか、1人ずつ見るたびに方針を微調整するかの違いだね。

たしかに1回1回の更新にはノイズが入るからジグザグに動くよ。でもたくさん更新を繰り返すと平均的には正しい方向に進むんだ。しかもそのノイズのおかげで、浅い谷（局所最適解）にハマらず、もっと良い答えを見つけられることもあるんだよ。

1つだとノイズが大きすぎるし、全データだと遅い。その中間で「32個」「64個」みたいにまとめて処理するのがミニバッチSGDだよ。GPUの並列計算と相性がいいから、現代のディープラーニングではほぼこの方式が標準になっているね。

すごく重要な関係があるよ。学習率が大きいと更新幅が大きくなって発散するし、小さすぎると収束が遅い。SGDでは学習率を徐々に小さくする「学習率スケジューリング」がよく使われるんだ。ウォームアップで最初は小さくして、途中で大きくして、最後にまた小さくするコサインスケジューリングなんかも有名だよ。

実はそうでもないんだ。Adamは収束が速いけど、最終的な精度ではSGD+モメンタムの方が良い場合もあると報告されているよ。画像認識のResNetなんかの論文でもSGDが使われていることが多い。最近はAdamで大まかに学習してからSGDで仕上げるハイブリッド手法も研究されているんだよ。

そうだよ。シンプルだけど奥が深い手法で、理論的な解析もしやすいから研究のベースラインとしてもよく使われているんだ。最適化手法の基本中の基本だから、しっかり理解しておくといいよ。