プロンプトキャッシングとは何ですか？

LLMへのプロンプトの一部をキャッシュして再利用する技術。同じシステムプロンプトやコンテキストを繰り返し送る際のコストと速度を大幅に改善する。

プロンプトキャッシングのポイントは？

長いシステムプロンプトやドキュメントの前処理結果をキャッシュし、再利用する。API利用コストが最大90%削減でき、レスポンス速度も向上する。Anthropic Claude、OpenAI GPT-4oなどが対応している。キャッシュの有効期間やヒット率の管理が実装のポイント

【ぷろんぷときゃっしんぐ】

💡 同じ前置きを何度も送らなくてOK、AIのコスト節約術

📌 このページのポイント

プロンプトキャッシングのイメージ

ひよこ

プロンプトキャッシングって、同じ質問の答えを覚えておくってこと？

ペンギン先生

ちょっと違うよ。質問の答えじゃなくて、プロンプトの前半部分（システムプロンプトや長い資料）の処理結果をキャッシュしておくんだ。同じ前提条件で何度も質問するときに速くなるんだよ

ひよこ

具体的にはどういう場面で使うのかな？

ペンギン先生

たとえばカスタマーサポートのAIで、毎回同じマニュアルをプロンプトに含めている場合だね。マニュアル部分をキャッシュしておけば、ユーザーの質問部分だけを新たに処理すればいいんだ

ひよこ

コスト削減効果はどのくらいなの？

ペンギン先生

Anthropicの場合、キャッシュヒット時は入力トークンのコストが90%削減されるよ。長いプロンプトを何度も送るようなアプリケーションでは、かなりの節約になるんだ

ひよこ

注意点はあるのかな？

ペンギン先生

キャッシュには有効期限があるから、一定時間を過ぎると再処理が必要になるよ。また、プロンプトの先頭部分が完全に一致していないとキャッシュが効かない。プロンプトの設計を工夫して、変わらない部分を前に固定するのがコツだね

まとめ：ざっくりこれだけ覚えればOK！

「プロンプトキャッシング」って出てきたら「同じプロンプトの再処理を省略するコスト削減技術」と思えればだいたいOK！

📖 おまけ：英語の意味

「Prompt Caching」＝プロンプトのキャッシュ

💬 caching（キャッシュする）は一時保存して再利用するという意味で、Web開発のキャッシュと同じ発想だよ