コンテキスト長 とは？

一度の処理で扱える文脈の容量、と考えると近いよ。今の質問だけでなく、アプリが渡した過去の会話や資料なども対象になる。会話を長期間保存する機能や、モデルが学習した知識とは別。チャット全体がいつまでも同じ枠に入り続けるわけではないんだ。

主にトークンという単位で数えるよ。トークンは文字数やページ数と同じではなく、言語や内容、モデルの分割方法によって変わる。生成する出力にも容量が必要で、入力と出力の上限や数え方はサービスの仕様を確認するんだ。

動作はアプリやAPIによるよ。上限超過でエラーになる場合も、アプリが履歴を削ったり要約したりしてから渡す場合もある。AIが以前の情報を使わなかった原因が、必ず容量超過とは限らない。実際に何が入力されているかを確認することが大切だよ。

入れられる量と、情報を正確に使う能力は別だよ。2023年の「Lost in the Middle」という研究では、調べたモデルや課題で、文脈中の情報の位置が成績に影響した。すべての現在のモデルに同じ結果が出るという意味ではないけれど、長文でも回答の根拠を確かめることは大切なんだ。

必要な箇所を選ぶ、検索して関連部分を渡す、資料を分けて処理するといった方法があるよ。分けたことで前後の関係が失われていないかも確認しよう。入力する量やモデルによって料金や応答時間も変わるので、枠を埋めることより、必要な情報をそろえることを意識するとよいね。