【ぷれとれーにんぐ】
プレトレーニング（事前学習） とは？
最終更新:
💡 後の利用の土台となるモデルを、先に学習する
モデルを後の利用や追加学習の土台として先に訓練すること。言語モデルでは次のトークン予測や穴埋めなどを使いますが、対象データや学習方法はモデルによって異なります。
📌 このページのポイント
ひよこ AIが教科書を丸暗記すること？
ペンギン先生 文章のパターンなどを学ぶ訓練で、単にすべての文章を保存して読み返す仕組みではないよ。ただし訓練データを記憶してしまう問題もあるので、丸暗記とは違うから漏えいしない、とも言えないんだ。
ひよこ 正解を人が付けなくても学習できる？
ペンギン先生 言語モデルでは文章の続きを予測させるなど、データ自体から予測対象を作れる。自己教師あり学習と呼ぶよ。人手で正解を付けた画像などで先に学習する方法もあり、事前学習がいつもラベルなしとは限らない。
ペンギン先生 ひよこ 必ずファインチューニングが必要？
ペンギン先生 ひよこ 事前学習済みなら、安心して使える？
ペンギン先生 正確な回答や安全な動作が必ず得られるわけではないよ。使う目的に合わせてモデルを評価しよう。費用もモデルの大きさ、データ量、計算設備で変わるので、すべてが数千万ドルと一律には言えないんだ。
もっと詳しく知りたい人へ
BERTは全トークンを15%隠す？
原論文では15%のトークン位置を予測対象に選びます。その選ばれた位置の80%を[MASK]へ、10%をランダムなトークンへ置き換え、残り10%は変えません。これは原論文の設定で、全事前学習に共通する割合ではありません。
まとめ：ざっくりこれだけ覚えればOK！
「プレトレーニング」って出てきたら「後の利用の土台として先に行う学習」と思えばだいたいOK！
📖 おまけ：英語の意味
「Pre-training」 ＝ 事前学習・事前訓練
💬 Preは前もって、Trainingは訓練という意味です。事前学習もモデルの学習そのもので、追加学習だけを「本番の学習」と呼ぶと役割を誤解しやすくなります。