フューショット学習 とは？

少数の例を使って、新しい課題や分類に対応する考え方だよ。広くは画像の分類などの研究でも使われるんだ。言語モデルでは、プロンプトの中に入出力例を添えて、期待する答え方を伝える使い方があるね。

たとえば文章を「肯定・否定」に分類してほしいなら、「うれしい→肯定」「かなしい→否定」のような例を添え、新しい文章への答えを求めるんだ。これは期待する形式を伝えるための説明用の例で、どの文章でも正しく分類できる保証ではないよ。

プロンプトに例を入れて推論する方法では、それだけでモデルの重みを更新するわけではないよ。ファインチューニングは重みなどを更新する学習なので区別しよう。「学習」という用語でも、文脈内の例を利用する話なのか、学習処理の話なのかが大切なんだ。

プロンプトに例を入れない場合をゼロショット、一つならワンショット、少数を入れる場合をフューショットと呼ぶよ。「必ず2〜10個」のような固定の範囲ではないんだ。例を増やすと入力も長くなるので、必要な例を選び、結果を確認して調整しよう。

順番によって結果が変わる場合があるよ。言語モデルの研究でも、同じ例を並べ替えて結果が変わることが示されているんだ。ただし「最後の例がいつも最も強い」「例が多いほど必ず良い」とは言えないね。実際に使う課題で、例の内容や並べ方を比べて確認しよう。