勾配爆発 とは？

ニューラルネットワークの学習では、誤差を逆方向に伝えてパラメータを調整するんだけど、そのときの「どれくらい調整するか」の値（勾配）が異常に大きくなることがあるんだ。数値がどんどん膨れ上がって、最終的にNaN（数値じゃない値）になって学習が壊れるんだよ。

逆伝播では各層の勾配を掛け算で伝えていくんだ。もし各層の勾配が1.5倍ずつだとすると、50層あれば1.5の50乗で約63万倍になる。これが勾配爆発の仕組みだよ。層が深いほど、そしてRNNのように長い系列を扱うほど起きやすくなるんだ。

一番よく使われるのは「勾配クリッピング」だよ。勾配の大きさに上限を設けて、それを超えたらカットするんだ。他にもバッチ正規化で各層の出力を安定させたり、重みの初期値をXavierやHe初期化で適切に設定する方法もあるよ。

まさに表裏一体の関係だよ。勾配が大きくなりすぎると爆発、小さくなりすぎると消失。掛け算の値が1より大きいか小さいかの違いだね。LSTMやGRUといったRNNの改良版は、ゲート機構で勾配の流れを制御して両方の問題に対処しているんだよ。

学習中にloss（損失）が突然NaNやInfになったり、パラメータの値が極端に大きくなったりするのが典型的なサインだよ。TensorBoardなどで勾配のノルム（大きさ）を監視しておくのが実務では大切だね。最近のフレームワークには自動で検出してくれる機能もあるよ。

Transformerは残差接続やレイヤー正規化が組み込まれているから、RNNほど深刻にはなりにくいよ。でも超大規模モデルの学習では学習率の設定次第で起きることがある。GPTやLLaMAの学習でも勾配クリッピングは使われているんだ。安定した学習のために今でも必須のテクニックだよ。