プレフィックスチューニング とは？

大きな違いは「どこにベクトルを挿入するか」だよ。ソフトプロンプトは入力の先頭だけだけど、プレフィックスチューニングは全Transformer層のキーとバリューに付け加えるんだよ。

深い層にも直接情報を届けられるから表現力が上がるんだよ。入力層だけに付けると、その影響が深い層まで届くのに層を通る処理で薄まってしまうことがあるんだ。

表現力は高いんだけど、ソフトプロンプトよりパラメータ数は増えるよ。それでも元モデル全体をファインチューニングするよりは圧倒的に少ないから、PEFTとして有効なんだよ。

テキスト生成・要約・翻訳など、各層の深い理解が必要なタスクに向いているよ。Stanfordが2021年に発表した研究では、通常のファインチューニングより少ないパラメータで匹敵する精度を出せたんだよ。

大事だよ。大規模モデルを全部ファインチューニングすると数百GBものパラメータを更新する必要があるけど、プレフィックスチューニングなら元モデルは凍結したまま小さなプレフィックスだけ保存すればいいから、コストが全然違うんだよ。