【ちょうぶんみゃくえるえるえむ】
長文脈LLM とは？
最終更新:
💡 入力の長さと、理解の正確さは別
長い入力文脈を扱える大規模言語モデル。入力の上限と理解の正確さの違い、トークン、検索を組み合わせる考え方を解説します。
📌 このページのポイント
- 長い文書や会話を入力の文脈として扱えるLLM
- 扱える長さはモデルや利用環境によって異なる
- 入力できる量と、必要情報を正確に使える能力は別
- 実際の資料と質問で、回答の根拠や見落としを確認する
ひよこ 長文脈LLMは、何が違うの？
ペンギン先生 長い文書や会話などを、入力の文脈として扱える大規模言語モデルだよ。複数の資料をまとめて検討したり、長い文書について質問したりする用途が考えられるんだ。
ひよこ どれくらい入力できる？
ペンギン先生 モデルと利用環境で上限が異なるよ。入力の長さはトークンという単位で数える。文字数と一対一ではないので、本何冊分と固定して換算するより、実際の入力のトークン数を確認しよう。
ひよこ 全部入れば、全部正しく理解する？
ペンギン先生 それは別だよ。長い文脈の中から必要な情報を使えるか、複数箇所を結び付けて答えられるかを確かめる必要がある。2023年の研究では、対象モデルの成績が情報の位置によって変わることも報告されたんだ。
ひよこ 長さのテストだけでは足りないんだね。
ペンギン先生 そう。一つの情報を見つけるテストでよい結果でも、複数資料の比較や推論まで同じようにできるとは限らない。実際に使う資料と質問で、答えと根拠を確認するのが大切だよ。
ひよこ RAGは、もういらない？
ペンギン先生 必要な資料を検索して取り出すRAGと、長い文脈を扱う能力は、組み合わせられるよ。何を入力するか、最新の資料をどう選ぶか、処理時間や費用も考えて使い分ける。入力を増やすだけで、よい回答が保証されるわけではないんだ。
もっと詳しく知りたい人へ
長文脈なら、会話を永久に覚えている？
扱える入力の範囲と、会話を保存する機能は別です。過去の情報が次の入力に含まれているかを確認します。長文脈モデルという名前だけで、すべての過去の会話を永続的に参照できるとはいえません。
途中の情報は必ず見落とす？
必ずではありません。「Lost in the Middle」は、調べたモデルと課題で位置による性能差を示した研究です。すべてのモデルや用途へ同じ結果を当てはめず、必要な情報の位置や質問の種類を変えて実際に評価します。
📖 おまけ：英語の意味
「Long-context LLM」 ＝ 長い文脈を扱う大規模言語モデル
💬 contextは、回答を生成するときに参照する入力の文脈です。「長文脈」の境界に、すべてのモデル共通の固定のトークン数があるわけではありません。