【ぴーちゅーにんぐ】
Pチューニング とは?
公開:
💡 隠し合言葉だけ学習する賢い近道
ペンギン先生、Pチューニングって普通のファインチューニングと何が違うの?
仮想トークンって何なの?
じゃあモデルを変えずにタスクだけ切り替えられるってこと?
GPT系に特に強いって聞いたけど、なんで?
LoRAやプレフィックスチューニングとはどう違うの?
プレフィックスチューニングも仮想トークンを使うけど各Transformer層に挿入するのに対して、Pチューニングは入力層だけに追加する点が違うよ。v2ではPチューニングも各層に拡張されてより強力になったんだ
まとめ:ざっくりこれだけ覚えればOK!
「Pチューニング」って出てきたら「プロンプト部分だけ学習する軽量ファインチューニング」と思えればだいたいOK!
📖 おまけ:英語の意味
「P-Tuning」 = Pチューニング
💬 「P」はPrompt(プロンプト)の略で、プロンプト部分だけを学習するアプローチだよ