過学習 とは？

訓練データでの成績が改善しても、検証データでは改善が止まったり悪くなったりするのが兆候だよ。小さな差があるだけでは異常とは限らないので、同じ指標で推移を見る。図は損失が小さいほどよい場合の説明例だよ。

訓練データ固有の揺らぎまで拾うと、新しいデータに通用しにくいんだ。データに対してモデルの容量が大きい場合や、学習を続けすぎた場合に起こり得る。ただしモデルの大きさや学習時間だけで決まるわけではないよ。

想定する入力を広く含むデータを用意し、モデルの容量を調整する。重みへのペナルティなどの正則化や、学習中の出力の一部を無作為にゼロにするドロップアウトも方法だよ。早期終了では検証指標の改善が止まったかを一定期間見て、停止を判断するんだ。

繰り返し見て設定を選ぶと、そのテストデータに合わせてしまうよ。設定や停止時点の調整には検証データを使い、最終評価用のテストデータは分けておく。データを増やす場合も、同じような例だけでなく、実際に扱う入力をカバーできるかが大事なんだ。

モデルの規模などを増やすと、テスト誤差が一度悪くなった後に再び改善する現象だよ。2019年のDeep Double Descentでは、規模だけでなく学習回数についても報告された。特定の実験条件での結果なので、大きくすれば必ずよくなるという保証にはならないんだ。