知識蒸留（ナレッジディスティレーション） とは？

GPTのような大きなモデルは高精度だけど、動かすのに巨大なGPUが必要でコストも高いんだ。でもスマホアプリや組み込み機器でAIを使いたい場面はたくさんある。そこで大きなモデルの「賢さ」を小さなモデルに移し替える知識蒸留が活躍するんだよ。

面白い仕組みなんだ。普通の学習では「正解は猫」という0か1の情報で学ぶけど、蒸留では教師モデルの出力する「猫80%、トラ15%、ライオン5%」という確率分布をそのまま学ぶんだ。「猫とトラは似ている」という関係性まで学べるから、小さなモデルでも賢くなれるんだよ。

タスクにもよるけど、モデルサイズを10分の1以下にしても元の精度の90%以上を維持できることもあるよ。DistilBERTという有名な例では、BERTの60%のサイズで97%の性能を達成しているんだ。

身近なところだとスマホの音声認識やキーボードの予測変換だよ。サーバーの大きなモデルで「教師」を作って、端末用に蒸留した「生徒」を配布する。他にもWhisperの軽量版やLLMの小型版（Phi-3など）も蒸留の考え方を活用しているよ。

アプローチが全然違うんだ。蒸留は大きなモデルの知識を小さなモデルに移す（アーキテクチャ自体が変わる）。量子化は同じモデルの数値精度を落とす（32bit浮動小数点を8bitや4bitに圧縮する）。実務では蒸留で小さなモデルを作り、さらに量子化で圧縮するという二段構えが最強の組み合わせ。両方を適用するとモデルサイズが100分の1以下になることもあるよ。