LoRA（ローラ） とは？

普通のファインチューニングはモデルの全パラメータを更新するから、ものすごい計算資源が必要なんだ。LoRAは「小さな追加パーツ」だけを学習させるから、メモリも時間もグッと節約できるんだよ。

実は、モデルの重みの変化って低ランクの行列で十分表現できることが多いんだ。だから小さな行列を追加するだけでも、全パラメータを更新したときと同じくらいの性能が出せるんだよ。

そうだよ！Stable Diffusionで特定の画風やキャラクターを学習させるときにLoRAがよく使われているんだ。数MBの小さなファイルで画風をガラッと変えられるのは、まさにLoRAの効率の良さのおかげだね。

行列のランク（階数）のことだよ。元のモデルの重み行列が1000×1000だとしたら、LoRAはそれを1000×4と4×1000の2つの小さな行列の積で近似するんだ。この「4」がランクで、小さいほどパラメータが少なくて済む。驚くことに、ランク4〜16程度でも十分な性能が出ることが多いんだよ。

QLoRAは量子化（Quantization）とLoRAを組み合わせた手法だよ。元のモデルの重みを4bitに量子化して大幅にメモリを削減し、その上でLoRAの追加パラメータだけを通常精度で学習する。これにより65Bパラメータの巨大モデルでも1枚のGPU（48GB VRAM）でファインチューニングできるようになったんだ。個人でも大規模モデルのカスタマイズが可能になった革命的な技術だよ。