コンテキスト長 とは？

AIが1回の会話で覚えていられるテキストの量のことだよ。トークンっていう単位で測るんだけど、たとえばコンテキスト長が128Kトークンなら、だいたい本1冊分くらいのテキストを一度に処理できるんだ。

古い会話の内容を忘れちゃうんだ。長いチャットをしていて「さっき言ったこと覚えてる？」って聞いても「知りません」って返ってくることがあるよね。あれはコンテキスト長を超えて情報が切り捨てられているからなんだよ。

便利にはなるけど、コンテキストが長いほど処理に必要な計算量も増えるからコストが上がるし、応答も遅くなるんだ。だから「必要な情報だけを効率よく入れる」工夫も大事だよ。RAGっていう技術で関連情報だけを検索して渡す方法もあるんだ。

いくつかの戦略があるよ。文書を分割して要約を繰り返す「Map-Reduce方式」、関連部分だけを検索して入れる「RAG」、スライディングウィンドウで少しずつ処理する方法などだね。実はコンテキスト長が長くても「迷子問題（Lost in the Middle）」といって、文脈の中間部分の情報を見落としやすい傾向があるという研究もあるんだ。だから長ければいいというわけでもなく、重要な情報をコンテキストの先頭や末尾に配置する工夫も有効だよ。