オプティマイザー とは？

モデルが予測を間違えたとき、「重みをどの方向にどれだけ変えれば間違いが減るか」を計算して更新するんだ。山の上から坂を下って谷底（損失が小さい場所）を目指すイメージで、これを勾配降下法と言うよ。

SGD（確率的勾配降下法）は、データの一部で計算した勾配の方向へ、学習率の分だけ重みを動かすシンプルな方法。Adamは過去の勾配の平均と、勾配の2乗の平均を覚えておいて、パラメータごとに一歩の大きさを調整するんだ。Adamの論文では、ハイパーパラメータの調整が少なく済むことが多いと説明されているよ。どれが一番かは課題によって変わるから、検証データで比べて選ぼうね。

心配されることは多いけど、高次元のニューラルネットワークでは、局所最適解よりも「鞍点」のほうが大きな問題になるという研究があるよ。鞍点のまわりには誤差の高い平らな場所が続いていて、学習が大きく遅くなり、局所最適解にハマったように見えることがあるんだ。

大きすぎると最小値を飛び越えて発散するし、小さすぎると収束に時間がかかる。Adamの論文では0.001が試した問題での良い初期値とされているけど、Llama 2の学習ではモデルの大きさに応じて最大1.5×10⁻⁴〜3×10⁻⁴を使っていて、最適な値は条件で変わるよ。学習の途中で「最初は大きく、徐々に小さく」する学習率スケジューラーもよく使われるんだ。

AdamWという改良版がよく使われているよ。Adamに正則化を足すとき、普通のやり方だと重み減衰が本来の効果を持たないことが分かって、損失による更新とは分けて重みを減らすようにしたものなんだ。Llama 2もAdamWで学習したと論文に書かれているよ。巨大モデル向けには、覚えておく統計を行と列の合計にまとめてメモリを減らすAdafactorや、状態を8bitで持つ8bit Adamも提案されているんだ。