【もでるこらぷす】
モデルコラプス とは？
最終更新:
💡 生成したデータで学習を繰り返すと、元の特徴を失うことがある
生成モデルの出力を次世代の学習データとして繰り返し使う過程で、元のデータ分布の特徴が失われ、品質が劣化する現象。起こり方は、実データを置き換えるか残すかなどの学習条件に左右される。
📌 このページのポイント
ひよこ モデルコラプスって、AIが故障すること？
ペンギン先生 機械の故障ではなく、学習を繰り返す過程で品質が劣化する現象だよ。生成したデータで次のモデルを学習させると、元のデータにあった特徴をうまく保てなくなることがあるんだ。
ひよこ なぜ、元の特徴がなくなるの？
ペンギン先生 生成した有限のサンプルには、元の分布の珍しいパターンが十分入らないことがある。モデルで近似する際の誤差もあるよ。それを次の学習へ繰り返し渡すと、ずれが積み重なる場合があるんだ。
ひよこ AIが作ったデータは、学習に使ってはいけない？
ペンギン先生 ひよこ WebにAIの文章が増えたら、全モデルが崩壊する？
ペンギン先生 学習データへ生成物が入り込むことは研究上の懸念だけど、Web全体や全ての商用モデルが必ず崩壊するという証明ではないよ。どのデータをどう選び、どんな条件で学習するかを確認する必要があるんだ。
ひよこ 防ぐには、人間のデータを少し混ぜればよい？
ペンギン先生 一律の混合比率で解決するとは言えないよ。実データを残す方法などの研究結果を、対象のモデルやデータの条件と合わせて読むことが大切。元の分布を保てているか、品質や多様性を評価しよう。
まとめ：ざっくりこれだけ覚えればOK！
「モデルコラプス」って出てきたら「生成データを使う学習の繰り返しで、元の分布を学べなくなる現象」と思えばだいたいOK！
📖 おまけ：英語の意味
「Model Collapse」 ＝ モデルの崩壊
💬 Modelはモデル、Collapseは崩壊という意味。Shumailovらの論文は、GANのMode Collapseという用語に着想を得た名前だと説明しているよ