LoRA量子化 とは？

LoRAはモデルの重みを変えずに「差分の小さい行列」だけ学習する手法だったよね。QLoRAはそれに加えて、ベースモデル自体を4bit量子化で超軽量にしてからLoRAをかける、という組み合わせ技なんだよ。

普通は量子化したモデルはそのまま学習すると精度が下がるんだよ。でもQLoRAでは量子化したモデルは「読み取り専用」にして、学習はLoRAアダプタ部分だけに限定するんだ。だから量子化の精度劣化を最小限に抑えられるんだね。

70Bモデルをフルファインチューニングしようとすると、通常は数百GBのVRAMが必要でA100などのハイエンドGPUが何枚も必要だよ。でもQLoRAなら1枚のRTX 3090（24GB）でも動かせるケースがあるんだ。消費VRAMが10分の1以下になることも珍しくないんだよ。

そう！これがQLoRAが革命的だといわれた理由だよ。2023年の発表時は「70Bモデルを家庭用GPUでファインチューニングできる」と話題になったんだ。医療・法律・社内ドキュメントなど特定ドメインへの適用を低コストで試せるようになったんだね。

量子化とLoRAの組み合わせなので、フルファインチューニングに比べると最終的な精度は若干落ちる場合があるよ。また学習データの品質がとても重要で、データが少なかったり偏っていたりすると過学習しやすい。あくまで「コスト対効果のトレードオフ」として使う手法だね。