【けいぞくがくしゅう】

継続学習 とは?

公開:
💡 新しいことを覚えても古い記憶を消さない、理想の学習者

学習済みモデルが新しいデータで追加学習しても過去の知識を忘れない(破滅的忘却を防ぐ)学習手法の総称。実世界に合わせてモデルを継続的に更新するために使われる。

📌 このページのポイント
継続学習:過去の知識を保ちながら新タスクを学ぶ 精度 学習の時間軸 タスクA学習 タスクB学習 タスクC学習 破滅的忘却あり 継続学習(忘却なし)
新タスクを学んでも過去タスクの精度が落ちない継続学習と、破滅的忘却の比較
ひよこ ひよこ
AIって新しいことを学んだら、前のことを忘れちゃうの?
ペンギン先生 ペンギン先生
そう、これが「破滅的忘却」って呼ばれる問題だよ。ニューラルネットワークは新しいデータに引っ張られて、以前の重みが書き換えられちゃうんだ。
ひよこ ひよこ
じゃあモデルを更新するたびにゼロから学び直すの?
ペンギン先生 ペンギン先生
それが一番確実だけど、コストが膨大だよね。継続学習はなるべく過去の知識を保ちながら新しいことを追加する技術なんだよ。
ひよこ ひよこ
どうやって忘れないようにするの?
ペンギン先生 ペンギン先生
代表的な方法が3つあるよ。①過去データをリプレイして定期復習する、②重要な重みを凍結するEWCという手法、③タスクごとに専用モジュールを追加する方法だね。
ひよこ ひよこ
EWCって何の略なの?
ペンギン先生 ペンギン先生
Elastic Weight Consolidation(弾性重み固定)だよ。人間が大事な記憶を強く保持する仕組みを参考にして、重要な重みパラメータほど変化しにくくするんだよ。
ひよこ ひよこ
実際にどんな場面で使われるの?
ペンギン先生 ペンギン先生
医療診断AIが新疾患データで更新されても既存の診断精度を落とさない、とか、チャットボットが新製品情報を学んでも旧モデルの知識を維持する、みたいな場面だね。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「継続学習」って出てきたら「新しいことを学んでも古い知識を忘れないようにするAI学習技術」と思えればだいたいOK!
📖 おまけ:英語の意味
「Continual Learning」 = 継続学習
💬 Continual(継続的な)+ Learning(学習)の組み合わせ。Lifelong Learning(生涯学習)とも呼ばれ、AIが時間をかけて成長し続ける仕組みを目指しているんだよ
← 用語集にもどる