コンテキストウィンドウ とは？

「一度に処理できる量」の話だよ。人間が読書するとき、目の前のページしか直接見えないよね。コンテキストウィンドウはAIにとっての「一度に見えるページの枚数」みたいなもので、その範囲内なら参照できるんだ。

大きいほど長い文書や会話を扱えるから便利だよ。最近のモデルは数十万〜数百万トークンになってきているんだ。でもサイズが大きいほど計算コストも上がるし、「コンテキストが長すぎると途中の情報を忘れやすくなる」という問題も起きるんだよ。

そうだよ。ChatGPTなどでは会話の歴史をプロンプトに追加しながら送っているんだ。コンテキストウィンドウに収まる範囲の履歴しか参照できないから、長い会話では古い部分が切り捨てられることがあるんだよ。

これが「Lost in the Middle（中間の情報が失われる）」という有名な問題でね。研究では、コンテキストの最初と最後に書かれた情報は参照されやすいけど、真ん中あたりの情報は忘れられやすいことが分かっているんだ。100万トークン処理できるモデルでも「10万トークン目の重要な情報」を確実に使うかどうかは保証されない。「コンテキストウィンドウが大きければ大丈夫」ではなくて、重要な情報の配置も意識した設計が必要なんだよ。