LoRA（ローラ） とは？

全重みを更新するフルファインチューニングに対して、LoRAは元の重みを固定し、追加する小さな行列を学ぶ方法だよ。学習対象を減らせるけど、元モデルの重みや中間計算のメモリも必要。どんな大きなモデルでも個人のPCで学べる、とは限らないんだ。

特定のタスクへの重みの更新分を、低ランクで表すという仮説に基づくよ。元論文では複数の言語モデルでフルファインチューニングに匹敵する結果が報告された。ただし、どのモデルやタスクでも同じ性能になる保証ではなく、ランクや対象層、データを選んで評価する必要があるんだ。

同じ考え方を画像生成に使えるよ。DiffusersにはStable DiffusionなどのLoRA学習例がある。追加した重みは元モデルと組み合わせて使うもので、ファイルだけで独立したモデルになるわけではない。容量や画風の変化も学習する層や設定、データで変わるんだ。

重みの更新分をBとAという行列の積で表すよ。仮に元の重みが1000×1000でr=4なら、Bは1000×4、Aは4×1000で計8000個のパラメーター。積は1000×1000で、ランクは最大4になる。元の100万個の重みを置き換えるのではなく、更新分として足すんだ。

QLoRAは、元の重みを4bitで保存する量子化とLoRAを組み合わせるよ。計算時には重みを復元し、論文では主にBFloat16で計算する。2023年の論文は650億パラメーターのモデルを48GBのGPU1枚で学習したと報告したけど、これはその実験条件の結果で、すべての設定のメモリを保証する数字ではないんだ。