【かいめつてきぼうきゃく】
壊滅的忘却 とは？
💡 新しい曲を覚えたら昔の曲を全部忘れるピアニスト
📌 このページのポイント
- 新しいデータで学習すると、以前のデータに最適化されていた重みが上書きされてしまう
- 継続学習（Continual Learning）やインクリメンタル学習で最も深刻な問題
- EWC（Elastic Weight Consolidation）やリプレイバッファなどの緩和手法がある
- LLMのファインチューニングでも元の汎用能力が失われるリスクとして注意が必要
ひよこ 壊滅的忘却って名前が怖いんだけど、どういうこと？
ペンギン先生 たとえば猫を見分けるように学習したAIに、次に犬の学習をさせると、猫のことをすっかり忘れちゃうんだ。人間なら両方覚えていられるけど、ニューラルネットワークは苦手なんだよ
ひよこ なんで忘れちゃうの？
ペンギン先生 ニューラルネットワークの重み（パラメータ）は共有されているから、新しいタスク用に重みを更新すると、前のタスクに大事だった重みも一緒に変わっちゃうんだ。上書き保存みたいなイメージだね
ひよこ 対策はあるの？
ペンギン先生 ひよこ おもしろい！LLMのファインチューニングでも起きるの？
ペンギン先生 まさにそこがベテランでも悩むポイントなんだ。ChatGPTみたいなLLMを特定業務向けにファインチューニングすると、元々持っていた汎用的な知識や推論能力が劣化することがあるよ。だからLoRAのようにパラメータの一部だけを更新する手法が重宝されているんだ
ひよこ 人間の脳は忘れにくいのに不思議だね
ペンギン先生 実は人間の脳にも忘却はあるんだけど、睡眠中の記憶の再生（リプレイ）や、海馬と大脳皮質の役割分担で緩和しているんだよ。最近のAI研究はまさにこの脳の仕組みにヒントを得た「相補的学習システム理論」に基づく手法も出てきていて、生物学とAIの融合が進んでいるんだ
まとめ：ざっくりこれだけ覚えればOK！
「壊滅的忘却」って出てきたら「AIが新しいことを覚えると古い知識を忘れちゃう問題」と思えればだいたいOK！
📖 おまけ：英語の意味
「Catastrophic Forgetting」 ＝ 壊滅的な忘却
💬 「Catastrophic」は「大災害レベルの」という意味で、ちょっと忘れるんじゃなくてガッツリ忘れるからこの名前なんだよ。1989年にMcCloskey & Cohenが報告した歴史ある問題だね