モデル量子化 とは？

大まかにはそうだよ。モデルの重みなどの数値を、少ないビット数で表すんだ。例えばfloat32からint8にすると、1つの値は32ビットから8ビットになる。重み本体は4分の1だけれど、変換に必要な尺度などの追加情報もあるので、ファイル全体もぴったり4分の1とは限らないよ。

結果の精度が下がる場合があるよ。どの数値を何ビットで表すか、モデルやタスクによって影響が違うんだ。元のモデルと同じ評価データで確かめ、必要な精度を満たす方式を選ぶ。高速化にも対応する演算や機器が必要で、必ず速くなるとは限らないよ。

スマホやIoT機器など、使えるメモリや計算資源が限られる場面で役立つよ。端末上で推論すればサーバーへの送信を減らせる場合もある。ただし端末内の処理時間は残るし、アプリが別にデータを送ることもあるので、量子化だけで通信やプライバシーを保証するものではないんだ。

代表的には、学習済みモデルを変換するPTQと、量子化の影響を模擬して学習するQATがあるよ。PTQでも変換方法によって代表的な入力データでの調整が必要になる。QATは精度の改善を狙えるけれど追加の学習が必要で、結果は評価して確かめるんだ。

使われているよ。例えば70億個の重みをすべてfloat32で持つなら、重み本体は28GB。すべて4ビットなら理論上3.5GBになる。ただしこれは10進GBで追加情報を除いた計算だよ。実際のファイルや実行時メモリには別のデータも必要で、llama.cppなどは複数の量子化方式を扱うんだ。