【かいめつてきぼうきゃく】

壊滅的忘却とは？

最終更新: 2026年10月7日

💡 新しいことを学ぶうちに、前の得意が崩れる

ニューラルネットワークが新しいタスクを学習する際、以前のタスクの性能が大きく低下する現象。共有する重みの更新が過去の能力を損なうことがあり、継続学習の課題になる。低下の程度はデータや学習方法による。

📌 このページのポイント

同じモデルへBを追加学習してAの成績が落ちる模式例です。矢印は時間の順序。棒の長さは説明用で実測値・割合ではありません。起こり方や対策の効果は学習条件によります。

ひよこ

壊滅的忘却って、全部の知識が消えるの？

ペンギン先生

全部消えるという意味ではないよ。例えばタスクAを覚えたモデルが、次のタスクBを学ぶとAの成績が大きく落ちることがある。前の能力を保ちながら新しいことを学ぶ、継続学習で問題になるんだ

ひよこ

新しいことを学ぶと、なぜ前の成績が落ちるの？

ペンギン先生

複数のタスクで重みを共有しているからだよ。新しいタスクに合うよう更新すると、前のタスクに重要だった重みも変わることがある。単純にデータのファイルを削除する話ではなく、学習した働きが変わる問題なんだ

ひよこ

EWCは、前の重みを全部固定するの？

ペンギン先生

重要な重みほど、以前の値から大きく変わるとペナルティをかける方法だよ。完全に固定するのではなく、新しい学習との釣り合いを取る。重要度の推定や設定にも依存するので、どんなタスクでも忘れなくなる保証ではないんだ

ひよこ

過去のデータを混ぜる方法もある？

ペンギン先生

以前の例を保存して、新しいデータと一緒に学ぶリプレイがあるよ。過去のタスクも学習に含め、能力を保つことを目指す。保存する量や選び方、使えるデータの条件を考え、新旧両方の評価を確認するんだ

ひよこ

ペンギン先生

継続的な追加学習で、以前の知識や推論などの評価が低下する例が研究されているよ。ただし、どのモデルも同じ程度に低下するわけではない。新しい用途の成績だけで判断せず、残したい能力を学習前後で比べよう

まとめ：ざっくりこれだけ覚えればOK！

「壊滅的忘却」って出てきたら「新しい学習で、前に学んだタスクの性能が大きく落ちる問題」と思えばだいたいOK！

📖 おまけ：英語の意味

「Catastrophic Forgetting」＝壊滅的な忘却

💬 catastrophicは大きな損失を伴う、forgettingは忘れることという意味だよ。ここでの忘却は、以前のタスクで発揮していた能力が大きく低下する現象を表しているんだ

参考資料