過学習 とは？

訓練データでの正解率は99%なのに、テストデータでは70%しか出ない、みたいな差が出るのが典型的なサインだよ。訓練データの精度がどんどん上がるのに、検証データの精度が途中から下がり始めたら過学習が始まっている証拠なんだ。

主に3つの原因があるよ。1つ目はモデルが複雑すぎること。パラメータが多すぎると訓練データのノイズまで記憶できてしまう。2つ目はデータが少なすぎること。少ないデータの偏りを「法則」と勘違いする。3つ目は学習のしすぎ。長く学習しすぎると細かいノイズまで覚えちゃうんだ。

定番の対策がいくつかあるよ。正則化でモデルの複雑さにペナルティを与える、ドロップアウトでランダムにニューロンを無効化する、データ拡張でデータ量を増やす、早期終了で検証精度が下がり始めたら学習をストップする。これらを組み合わせて使うのが一般的だよ。

データ量を増やすのは最も効果的な対策の一つだけど、万能ではないよ。データに偏りがあれば量を増やしても過学習は起きるし、医療画像のように大量のデータを集めるのが難しい分野もある。そういう場合はデータ拡張（画像の回転・反転・色調変更）で疑似的にデータ量を増やすこともあるんだ。

いい質問だね！従来は「モデルを複雑にすると一旦テスト誤差が下がった後にまた上がる（過学習）」と考えられていたんだけど、2019年の研究でさらにモデルを大きくすると再びテスト誤差が下がる「二重降下現象」が報告されたんだ。GPTなどの巨大モデルがうまく機能する理由の一つとも考えられている、ディープラーニングの謎めいた現象だよ。