【ぷろんぷときゃっしんぐ】

プロンプトキャッシング とは?

💡 同じ前置きを何度も送らなくてOK、AIのコスト節約術
📌 このページのポイント
プロンプトキャッシングの効果 キャッシュなし システムプロンプト(毎回処理) 長いマニュアル・ルール集 ユーザーの質問 コスト: 100% キャッシュあり キャッシュ済み(処理スキップ) 再利用するため高速 ユーザーの質問 コスト: 10% コスト最大90%削減 レスポンス高速化 Claude / GPT-4o対応
プロンプトキャッシングのイメージ
ひよこ ひよこ

プロンプトキャッシングって、同じ質問の答えを覚えておくってこと?

ペンギン先生 ペンギン先生

ちょっと違うよ。質問の答えじゃなくて、プロンプトの前半部分(システムプロンプトや長い資料)の処理結果をキャッシュしておくんだ。同じ前提条件で何度も質問するときに速くなるんだよ

ひよこ ひよこ

具体的にはどういう場面で使うのかな?

ペンギン先生 ペンギン先生

たとえばカスタマーサポートのAIで、毎回同じマニュアルをプロンプトに含めている場合だね。マニュアル部分をキャッシュしておけば、ユーザーの質問部分だけを新たに処理すればいいんだ

ひよこ ひよこ

コスト削減効果はどのくらいなの?

ペンギン先生 ペンギン先生

Anthropicの場合、キャッシュヒット時は入力トークンのコストが90%削減されるよ。長いプロンプトを何度も送るようなアプリケーションでは、かなりの節約になるんだ

ひよこ ひよこ

注意点はあるのかな?

ペンギン先生 ペンギン先生

キャッシュには有効期限があるから、一定時間を過ぎると再処理が必要になるよ。また、プロンプトの先頭部分が完全に一致していないとキャッシュが効かない。プロンプトの設計を工夫して、変わらない部分を前に固定するのがコツだね

ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「プロンプトキャッシング」って出てきたら「同じプロンプトの再処理を省略するコスト削減技術」と思えればだいたいOK!
📖 おまけ:英語の意味
「Prompt Caching」 = プロンプトのキャッシュ
💬 caching(キャッシュする)は一時保存して再利用するという意味で、Web開発のキャッシュと同じ発想だよ
← 用語集にもどる