エポック とは？

決まった正解はなくて、モデルの複雑さとデータ量によるんだ。小さなデータで単純なモデルなら10〜100エポック、深いニューラルネットワークで大量データなら数エポックで十分なこともある。「検証データの損失が下がらなくなったとき」が目安だよ。

最初のうちはどんどん賢くなるけど、ある時点から「訓練データのノイズまで覚え始める」過学習が起きて、むしろ悪化することがあるんだよ。グラフで見ると訓練損失は下がり続けるのに検証損失が途中から上がり始める曲線になる。

「検証損失が一定エポック以上改善しなくなったら学習をやめる」という仕組みだよ。ムダなエポックを省けるし、過学習も防げる。パラメーターは「最も検証損失が低かった時点」に戻すのがポイントで、最後まで学習したモデルではなく途中の最良モデルを使うんだ。

それが本質的な疑問で、「汎化」と「記憶」のトレードオフがエポック数の核心にあるんだ。ニューラルネットワークは理論上、十分な容量があれば訓練データを丸ごと記憶できる。だから多エポック学習は「暗記試験」になりやすい。面白いことに最近の研究で「二重降下現象」が発見されていて、エポックやパラメーターを増やしたとき損失が一度上がってからまた下がるという直感に反する現象がある。「エポック数を増やすと必ず悪化する」という常識が崩れるケースで、深層学習の理論はまだ完全には解明されていないんだよ。