勾配消失問題 とは？

学習では、出力の誤差から勾配を計算して重みを直すよ。逆伝播の途中で勾配がとても小さくなると、入力側などの重みがほとんど更新されなくなる。伝言ゲームで、直してほしいという合図が途中で小さくなるイメージだね。

必ずではないよ。逆伝播では、各層の重みや活性化関数の微分を掛け合わせる部分がある。その組み合わせによって値が小さくなったり、逆に大きくなりすぎたりする。深さだけでなく、使う関数や初期化の方法も関係するんだ。

シグモイドの微分は最大でも0.25なので、小さな値の掛け算が続くことは注意点だよ。ただし実際の勾配には重みなども関係する。0.25を10回掛けた値だけで、あらゆる10層のモデルが学習できないとは判断できないんだ。

活性化関数や重みの初期化を選び、ResNetのような残差接続で層の入力を足す経路を作るなどの工夫があるよ。ReLUは正の入力で微分が1になるけれど、負の入力では0になる。どれかを使えば必ず大丈夫というわけではなく、勾配や学習の進み方を確かめよう。