モデル量子化 とは？

大まかに言うとそうだよ。AIモデルはたくさんの数値（重み）の集まりなんだけど、それを「より少ないビット数で表現する」のが量子化だよ。たとえばfloat32（32ビット）からint8（8ビット）に変換すると、データ量が4分の1になるんだ。

少し下がるよ。ただ、多くのモデルは必要以上に高精度な数値を持っていて、ちょっと丸めても結果がほとんど変わらないことが多いんだ。実際にint8量子化で精度低下が1%未満に収まるケースはたくさんあるよ。

スマホやIoTデバイスなどの「エッジデバイス」に大きなAIモデルを乗せたいときに特に重要だよ。クラウドに送らずデバイス上で推論できると、通信遅延がなくなるしプライバシーも守れるんだよ。

大きく2種類あるよ。「学習後量子化（PTQ）」は学習済みモデルをそのまま変換する方法で手軽にできる。「量子化を考慮した学習（QAT）」は量子化を意識しながら再学習するから精度低下が少ないけど手間がかかるよ。

まさにLLMで今一番注目されている技術だよ。70億パラメータのモデルをfloat32で持つと28GBになるけど、int4量子化なら約3.5GBまで下がる。GGUF形式でローカルで動かすLlama.cppなどでも量子化が積極的に使われているよ。