正則化 とは？

訓練データに合わせすぎて、新しいデータでうまく働かない過学習を抑えるためだよ。訓練データの誤差を減らすだけでなく、未知のデータでも役立つモデルを目指すんだ。正則化を入れれば必ず良くなる、というわけではないよ。

代表的な方法は、訓練データの損失に重みへの罰則を足して、その合計を小さくすること。図の「損失＋λ×罰則」では、λが両者のバランスを調整するんだ。罰則の形や強さによって学ばれる解が変わるよ。

L1は重みの絶対値の和、L2は重みの二乗の和を罰則にする。線形回帰のLassoはL1で、一部の重みをゼロにする疎な解を促すよ。RidgeはL2で、大きい重みを抑えるけど、L1のように疎な解を狙うものではない。ゼロになった特徴が現実でも必ず不要だ、と証明するわけでもないんだ。

弱すぎれば過学習が残り、強すぎれば必要な関係まで学べなくなることがある。検証データや交差検証で候補を比べて選ぶんだ。強さの指定方法は実装によって違い、scikit-learnのRidgeやLassoではalphaを使う。L1とL2を組み合わせるElastic-Netもあるよ。

ほかに早期停止もあるよ。検証データの損失などを監視し、過学習が進む前に学習を止める方法なんだ。停止時点も調整の対象なので、訓練データへの当てはまりだけで良し悪しを決めないことが大切だよ。