重み減衰（Weight Decay） とは？

学習時のパラメータ更新に、重みをゼロへ近づける成分を加える正則化手法。通常のSGDでは係数を対応させたL2正則化と等価だが、Adamなどでは異なる。AdamWは損失の勾配による更新と重み減衰を分けて扱う。

ひよこ

Weight Decayって、重みを小さくすること？

ペンギン先生

学習の更新に、重みをゼロへ近づける成分を加えることだよ。例えば減衰だけなら4を3.6、-2を-1.8へ縮めるイメージ。ただし実際には損失の勾配による更新もあるので、毎回全ての重みが小さくなるわけではないんだ。

ひよこ

小さくすれば必ず過学習を防げる？

ペンギン先生

保証はできないよ。学習を制約して、未知のデータへの汎化を改善することを目指す手法なんだ。重みの大きさだけで過学習かどうかは判断できないので、学習に使わないデータで性能を確認しよう。

ひよこ

L2正則化と同じって聞いたけど？

ペンギン先生

L2正則化は、重みの二乗和に係数を掛けて損失に加える方法だよ。通常のSGDなら学習率と係数を対応させると重み減衰と等価になる。ただしAdamのような適応的な更新では同じにならないんだ。

ひよこ

AdamWは何が違うの？

ペンギン先生

損失の勾配から計算する更新と、重みを縮める更新を分けて扱うよ。減衰を勾配の移動平均などへ混ぜない方式なんだ。AdamWでも、使えば必ず性能が上がるわけではないので、係数や学習率を評価しながら調整するよ。

ひよこ

係数はどれくらいにすればいい？

ペンギン先生

全てのモデルに共通の最適値はないよ。ツールのweight_decayの定義や学習率との関係、対象のパラメータ群を確認し、検証データで選ぶんだ。強すぎる制約で学習がうまく進まない場合もあるので、デフォルト値を正解と決め付けないようにしよう。

まとめ：ざっくりこれだけ覚えればOK！

「Weight Decay」って出てきたら「学習の更新に重みを縮める成分を加える正則化」と思えればだいたいOK！

誤り・わかりにくい説明を報告する