PEFT（パラメータ効率的ファインチューニング） とは？

Parameter-Efficient Fine-Tuningの略で、大きなAIモデルのパラメータのほんの一部だけを更新してカスタマイズする手法の総称だよ。

普通のファインチューニングはモデルのパラメータを全部更新するから、GPUが大量に必要で時間もかかる。PEFTはモデルの99%以上を「凍結」したまま、追加した小さなモジュールだけを学習させるんだ。

GPT-3クラスを全部ファインチューニングするには何百台ものGPUが要る。PEFTなら消費者向けのGPU1枚で数時間で済むこともあるよ。コストは100分の1以下になることも珍しくないんだ。

そうだよ。一番有名なのがLoRA（ローランク適応）で、低ランク行列をモデルに追加する手法。他にもAdapter（アダプター）、Prefix Tuning（プレフィックスチューニング）などがある。目的によって使い分けるよ。

まさにそれが革命的なんだよ！「医療記録の要約専門モデル」「特定会社の社内文書に詳しいモデル」など、企業や個人が自分専用のAIをコスト効率よく作れるようになった。SLM時代のカスタマイズ技術として欠かせないね。