【ごさぎゃくでんぱほう】
誤差逆伝播法 とは？
最終更新:
💡 予測のずれから、調整の手がかりを逆向きに計算
ニューラルネットワークなどの学習で、損失から計算を逆向きにたどり、重みなどに対する勾配を効率よく求める方法。得た勾配を使ってパラメータを更新する処理は、勾配降下法などが担当する。
ひよこ 何を、逆向きに伝えるの？
ペンギン先生 予測のずれを表す損失について、重みを少し変えたら損失がどう変わるかを計算するよ。その変化の手がかりが勾配。最初は入力から予測へ進み、次に損失から逆向きに計算をたどるんだ。誰かの責任を決める話ではないよ。
ひよこ 重みを直すところまで、この方法？
ペンギン先生 ひよこ 連鎖律って、どんなルール？
ペンギン先生 つながった計算の微分を、途中の微分を掛け合わせて求めるルールだよ。たとえばu=2x、y=3uなら、xを少し変えた影響は2倍、さらに3倍になり、yの変化は6倍。このように局所の変化をつないで、損失に対する勾配を計算するんだ。
ひよこ 重みがたくさんあっても、計算できる？
ペンギン先生 ひよこ 勾配が出れば、必ずうまく学習する？
まとめ：ざっくりこれだけ覚えればOK！
「誤差逆伝播法」って出てきたら「予測のずれから、重みを調整する手がかりを逆向きに求める方法」と思えばだいたいOK！
📖 おまけ：英語の意味
「Backpropagation」 ＝ 逆向きの伝播
💬 出力側の損失から、計算のつながりを逆向きにたどって勾配を求めることを表す名前だよ。