【ちょうぶんみゃくえるえるえむ】

長文脈LLM とは?

最終更新:
💡 本1冊をまるごと読み込めるAI、コンテキストの壁を破壊する
📌 このページのポイント
長文脈LLM — コンテキストウィンドウの進化 従来のLLM 4K〜8Kトークン 長文脈LLM 128K〜1Mトークン以上 長文脈で可能になること 書籍要約 数百ページを一括 コード解析 リポジトリ全体 長時間対話 文脈を忘れない 多文書比較 複数資料を横断 RoPE拡張・Ring Attention・Sparse Attentionなどで実現
長文脈LLMのイメージ
ひよこ ひよこ
長文脈LLMって、普通のLLMと何が違うの?
ペンギン先生 ペンギン先生
一度に処理できるテキストの長さが圧倒的に違うよ。初期のGPT-3は約4,000トークンだったけど、Gemini 1.5 Proは100万トークン、つまり小説数冊分を一度に読めるんだ
ひよこ ひよこ
それってどのくらいの量なの?
ペンギン先生 ペンギン先生
100万トークンは日本語だと約50万文字くらいだね。長編小説1冊が10万文字くらいだから、5冊分の本を丸ごと入力できるイメージだよ
ひよこ ひよこ
RAGがいらなくなるってこと?
ペンギン先生 ペンギン先生
場合によってはそうだね。ドキュメントをそのまま全部入力できるなら、検索して関連箇所を抜き出すRAGの仕組みが不要になることもある。ただしコストと速度のバランスを考えると、RAGが有利な場面もまだまだ多いよ
ひよこ ひよこ
長いとちゃんと全部理解してくれるのかな?
ペンギン先生 ペンギン先生
そこが重要なポイントだね。『Needle in a Haystack(干し草の中の針)』テストで、長い文章の途中に埋め込まれた情報を正しく見つけられるか評価するんだ。モデルによって得意不得意があるから、長さだけでなく理解の質も大事なんだよ
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「長文脈LLM」って出てきたら「超長い文章を一度に処理できるAI」と思えればだいたいOK!
📖 おまけ:英語の意味
「Long Context LLM」 = 長い文脈の大規模言語モデル
💬 context(文脈)が長い、つまり一度にたくさんの情報を処理できるLLMという意味だよ
← 用語集にもどる