誤差逆伝播法 とは？

「この予測のミスは誰のせい？」を出力から入力に向かって追いかける仕組みだよ。ニューラルネットワークはたくさんの重みがあるから、どの重みがどれだけ間違いに貢献したかを計算して、それぞれをちょっとずつ修正するんだ。

計算効率の問題なんだ。前向きに計算すると、一つの重みの影響を調べるだけで全体の計算をやり直す必要がある。逆向きに伝えると連鎖律（チェーンルール）を使って全部の重みの勾配を一気に効率よく計算できるんだよ。

数学の微分のルールで「合成関数の微分」のことだよ。f(g(x))の微分はf'(g(x))×g'(x)っていうやつ。ニューラルネットワークは関数が何層も重なった合成関数なので、チェーンルールを使って出力から入力へと誤差を次々に掛け算しながら伝えていけるんだ。

それが「勾配消失問題」で、ディープラーニング初期の最大の難関だったんだ。誤差を逆伝播するとき、活性化関数の微分（0〜1の値）を何十回も掛け算するから、層を通るごとに指数関数的に小さくなっていく。10層なら0.5の10乗で約0.001になってしまう。これを解決したのがReLUという活性化関数で、微分値が0か1になるから掛け算しても消えない。バッチ正規化という手法との組み合わせで初めて非常に深いネットワークの学習が実用的になったんだよ。