インコンテキスト学習 とは？

普通の機械学習はモデルに大量のデータを食べさせて「体質改善」するイメージ。インコンテキスト学習は、プロンプトに例を書いて「今回はこんな感じで答えてね」とお手本を見せるだけ。モデル自体は変わらないけど、その場で出力が変わるんだよ。

一般的には例が多いほど安定するけど、入れすぎるとトークン数を消費して入力の上限に引っかかることがある。3〜5個くらいの良質な例がちょうどいいバランスだと言われているよ。

ポイントは「多様性」と「代表性」だよ。似たような例ばかりだと偏るし、実際のタスクとかけ離れた例だと参考にならない。想定される入力パターンをバランスよくカバーする例を選ぶのがコツなんだ。

ゼロショットは例を一切入れずに指示だけで回答させること。フューショット（Few-shot）は数個の例を入れて回答の方向性を示すこと。ゼロショットでもGPT-4クラスのモデルなら高品質な回答が出ることが多いけど、特殊なフォーマットや専門的なタスクではフューショットの方が安定するよ。

実はまだ完全には解明されていないんだ。有力な仮説は「事前学習で獲得した能力をプロンプトの例が"呼び起こす"」というもの。つまりモデルが新しいことを学んでいるのではなく、既に持っている能力のうち「今回使うべきもの」を特定している可能性が高い。この仕組みの解明はAI研究の最前線のテーマで、2024年以降も活発に論文が出ているよ。