LLM圧縮 とは？

少し違うよ。zipは元に戻せる「可逆圧縮」だけど、LLM圧縮はモデルの精度を少し犠牲にしながら小さくする「非可逆的な軽量化」だね。目的はサイズ縮小だけでなく、推論速度の向上やメモリ使用量の削減だよ。

主に4つあるよ。①量子化（数値の精度を下げる）、②枝刈り・プルーニング（重要度の低いパラメータを削除）、③知識蒸留（大きなモデルの知識を小さいモデルに移す）、④重み共有（似たパラメータをまとめる）、これらを組み合わせることも多いよ。

数値の表現精度を下げることだよ。たとえば32ビット浮動小数点数（FP32）で保存していたパラメータを、8ビット整数（INT8）や4ビット（INT4）に変換するんだ。数値の「粒の細かさ」を粗くするイメージで、ファイルサイズと計算量が大幅に減るよ。

工夫次第で驚くほど性能を維持できるよ。たとえばGGUF形式の量子化モデルはスマホでも動作しつつ、元の性能の90%以上を維持することも珍しくないんだ。知識蒸留では、大きな「教師モデル」の出力分布をそのまま学習するので、単純な縮小より賢い小型モデルが作れるよ。

GPT-4クラスのモデルはデータセンターがないと動かせないほど大きいけど、スマホやIoTデバイスで動かしたいニーズが急増しているからだよ。また推論コストは企業にとって大きな費用負担なので、同じ性能をより安く出せる圧縮技術はビジネス的にも超重要なんだ。