ファインチューニング とは？

料理で例えると分かりやすいよ。一から学習するのは「調理師学校で1年かけてすべての料理を学ぶ」こと。ファインチューニングは「すでに料理ができる人が、フランス料理専門店のメニューだけを1週間集中特訓する」感じなんだ。ベースの知識を活かして、特化するのが速いんだよ。

「このAIに何をさせたいか」に合ったデータが必要だよ。例えば医療相談に特化させたいなら、医療の質問と回答のペアを数千〜数万件用意する感じ。重要なのはデータの品質で、量が少なくても質の高いデータのほうが効果的なことが多いんだ。

「壊滅的忘却（Catastrophic Forgetting）」という問題があるんだ。特定タスクに最適化しすぎると、元々持っていた汎用的な能力が劣化してしまうことがある。日本語の医療データでファインチューニングしたら、英語や他の分野の回答が急に下手になった、みたいなケースだね。

LoRAはファインチューニングの中でも特に効率的な手法なんだ。通常のファインチューニングはモデルの全パラメータを更新するから計算コストが高い。LoRAはモデルの重み行列に「低ランク行列」という小さな追加レイヤーを差し込んで、そこだけを学習するんだ。更新するパラメータが元の1%以下で済む場合も多くて、一般的なGPUでも大型モデルをファインチューニングできるようになったのはこの技術のおかげなんだよ。