学習率 とは？

一見そう思えるけど、大きすぎると「谷底を目指してジャンプしたら谷の反対側の山に飛び出してしまう」状態になるんだ。損失が下がるどころか増えたり、あちこち飛び跳ねて全然収束しなくなる。かといって小さすぎると学習に何万回もかかって効率が悪いんだよ。

ざっくりした方法は「0.1, 0.01, 0.001, 0.0001」のように10分の1ずつ変えてどれが一番学習が進むか試すんだ。最近はAdamのような最適化アルゴリズムが学習率を自動で調整してくれるから、初期値を0.001に設定しておくだけでも多くの場合はうまくいくよ。

「学習率スケジューラー」という仕組みがあって、最初は大きな歩幅で谷に向かって進み、近づいたら小さな歩幅で細かく調整する、という戦略だよ。ウォームアップ（最初はゆっくり始めて徐々に上げる）とコサインアニーリング（波のように下げていく）が代表的だね。

本当だよ。さらに難しいのが「学習率とバッチサイズはセットで考える必要がある」ということ。バッチサイズを2倍にしたら学習率も2倍にする「線形スケーリング則」がよく知られているけど、実はこれが完全に正しいのは一定の条件下だけで、非常に大きなバッチサイズでは崩れることがある。大規模モデルの学習では「学習率 × バッチサイズ × ウォームアップ期間」の組み合わせを慎重に設計することが性能を左右する、経験と知識が必要な職人芸なんだよ。