早期打ち切り（Early Stopping） とは？

そうだよ。テスト勉強で例えると、練習問題を何周もやっていると答えを丸暗記しちゃうことがあるよね。本番の応用問題には対応できなくなる。それと同じで、モデルも訓練しすぎると訓練データを覚えすぎて新しいデータに対応できなくなるんだ。だから「これ以上やっても逆効果」というタイミングで止めるんだよ。

訓練データとは別に「検証データ」を用意しておいて、毎エポック（訓練1周）ごとに検証データでの成績をチェックするんだ。成績が上がり続けている間は訓練を続けて、数エポック連続で改善しなくなったら止める。この「何エポック待つか」をpatienceパラメータと呼ぶよ。

一般的にはpatienceを5〜20くらいに設定することが多いよ。小さすぎると一時的な停滞で打ち切ってしまうし、大きすぎると過学習が進んでしまう。データ量やモデルの複雑さによって適切な値は変わるから、まずは10あたりで試してみるのがおすすめだね。

いい質問だね。実は打ち切った瞬間のモデルではなく、検証スコアが最も良かった時点のモデルを保存しておいて、それを最終モデルとして使うのが一般的だよ。これを「モデルチェックポイント」と呼ぶんだ。PyTorchやTensorFlowでもこの仕組みがコールバックとして用意されているよ。

もちろん使えるよ。XGBoostやLightGBMといった勾配ブースティング系のモデルでもearly_stoppingパラメータが標準で用意されているんだ。ブースティングは木を一本ずつ追加していくから、「これ以上木を足しても改善しない」と判断したら止める。実務ではむしろブースティング系での利用頻度がとても高いよ。

L1やL2正則化はモデルの重みにペナルティを加えて複雑さを抑える手法だけど、早期打ち切りは訓練回数そのものを制限するアプローチだね。数学的には早期打ち切りもL2正則化と似た効果があることが知られていて、正則化の一種とみなされているんだ。他の正則化と組み合わせて使うこともよくあるよ。