長文脈LLMとは何ですか？

非常に長い入力テキスト（数十万〜数百万トークン）を一度に処理できるLLM。書籍全体やコードベース全体を丸ごと入力して分析できる。

長文脈LLMのポイントは？

Gemini 1.5 Proの100万トークン、Claude 3.5の20万トークンなどが代表例。長いドキュメントの要約、コードベース全体の分析、書籍の質問応答に活用される。RAGを使わずにドキュメントを直接入力する『コンテキスト詰め込み』戦略が可能に。「Needle in a Haystack」テストで長文脈の実際の理解力を評価する

【ちょうぶんみゃくえるえるえむ】

長文脈LLM とは？

💡 本1冊をまるごと読み込めるAI、コンテキストの壁を破壊する

📌 このページのポイント

Gemini 1.5 Proの100万トークン、Claude 3.5の20万トークンなどが代表例
長いドキュメントの要約、コードベース全体の分析、書籍の質問応答に活用される
RAGを使わずにドキュメントを直接入力する『コンテキスト詰め込み』戦略が可能に
「Needle in a Haystack」テストで長文脈の実際の理解力を評価する

長文脈LLMのイメージ

ひよこ

長文脈LLMって、普通のLLMと何が違うの？

ペンギン先生

一度に処理できるテキストの長さが圧倒的に違うよ。初期のGPT-3は約4,000トークンだったけど、Gemini 1.5 Proは100万トークン、つまり小説数冊分を一度に読めるんだ

ひよこ

それってどのくらいの量なの？

ペンギン先生

100万トークンは日本語だと約50万文字くらいだね。長編小説1冊が10万文字くらいだから、5冊分の本を丸ごと入力できるイメージだよ

ひよこ

RAGがいらなくなるってこと？

ペンギン先生

場合によってはそうだね。ドキュメントをそのまま全部入力できるなら、検索して関連箇所を抜き出すRAGの仕組みが不要になることもある。ただしコストと速度のバランスを考えると、RAGが有利な場面もまだまだ多いよ

ひよこ

長いとちゃんと全部理解してくれるのかな？

ペンギン先生

そこが重要なポイントだね。『Needle in a Haystack（干し草の中の針）』テストで、長い文章の途中に埋め込まれた情報を正しく見つけられるか評価するんだ。モデルによって得意不得意があるから、長さだけでなく理解の質も大事なんだよ

まとめ：ざっくりこれだけ覚えればOK！

「長文脈LLM」って出てきたら「超長い文章を一度に処理できるAI」と思えればだいたいOK！

📖 おまけ：英語の意味

「Long Context LLM」＝長い文脈の大規模言語モデル

💬 context（文脈）が長い、つまり一度にたくさんの情報を処理できるLLMという意味だよ

← 用語集にもどる