勾配爆発 とは？

損失がパラメータの変化に対してどれだけ変わるかを表す「勾配」が、非常に大きくなることだよ。更新量は勾配に加えて学習率や最適化手法で決まる。大きな勾配は更新を不安定にする原因になるけれど、必ずNaNになるという意味ではないんだ。

逆伝播では、途中の計算の微分を連鎖的に掛け合わせるよ。単純化して1.5倍の増幅を50回繰り返すなら、1.5の50乗は約6.4億倍になる。実際のネットワークでは行列の積などを扱うので、全層の勾配を一つの数として掛けるだけではないんだ。

一つは勾配ノルムのクリッピング。たとえばベクトル全体の大きさが上限を超えたら、向きを保ったまま縮小するよ。各成分を個別に切る方式とは違う。上限は学習の様子に合わせて選び、学習率や初期化なども原因に応じて見直すんだ。

逆伝播で勾配が小さくなりすぎ、遠くの情報から学びにくくなるのが勾配消失だよ。長い系列のRNNでは両方が問題になる。LSTMは勾配消失への対策として提案された構造だけれど、使えば勾配爆発も必ず防げるわけではないんだ。

損失の急な増加に加え、勾配ノルムが大きく跳ね上がっていないかを見よう。NaNやInfも調べるきっかけになるけれど、他の数値計算の問題でも出るので、それだけで勾配爆発と決めつけない。PyTorchのクリッピング関数にも、ノルムが非有限値ならエラーにする設定があるよ。