【ぷろんぷときゃっしんぐ】

プロンプトキャッシング とは?

最終更新:
💡 共通の入力の処理を再利用し、回答はその都度生成する

LLMへの入力で繰り返し使う共通部分の処理結果を保存し、後の要求で再利用する仕組み。共通の指示や長い資料などの再処理を減らせる。回答そのものの保存とは異なり、利用条件や費用はAPI・モデルで変わる。

📌 このページのポイント
共通入力の処理を再利用する 初回 共通の資料A 処理する 処理結果を保存 入力のキャッシュ 質問1 → 回答1 後の要求:再利用の条件が合う場合 共通の資料A 処理結果を再利用 新しい質問2 回答2を生成 送信方法・期限・料金はAPIで確認
共通部分の処理をキャッシュし、条件が合う後の要求で再利用する。回答は質問ごとに生成する。
ひよこ ひよこ
同じ資料を何度もAIに読ませるときに使うの?
ペンギン先生 ペンギン先生
そうだよ。共通の指示や資料など、繰り返し使う入力の処理結果を保存して再利用する。条件が合えば、毎回その部分を最初から処理する負担を減らせるんだ。
ひよこ ひよこ
前の回答を返すだけ?
ペンギン先生 ペンギン先生
回答の保存とは別だよ。共通の入力の処理結果を使いながら、新しい質問に対する回答を生成する。キャッシュがあっても、回答の生成に必要な計算や費用がなくなるわけではないんだ。
ひよこ ひよこ
同じ資料を送らなくてよくなる?
ペンギン先生 ペンギン先生
一律には言えないよ。同じ入力を再び送ると、サーバー側で共通部分を見つけて再利用する方式もある。要求に含める情報やキャッシュの指定方法は、使うAPIで確認するんだ。
ひよこ ひよこ
似た文章ならキャッシュが使える?
ペンギン先生 ペンギン先生
Claudeのプロンプトキャッシングなどでは、共通の先頭部分が一致することが必要だよ。資料や指示を途中で変えると、前のキャッシュを使えないことがある。最低限の入力長や有効期限などの条件もあるんだ。
ひよこ ひよこ
必ず料金が9割安くなる?
ペンギン先生 ペンギン先生
全体の費用が同じ割合で減るとは限らないよ。キャッシュの作成・読出し料金、再利用できた入力の量、新しい入力や出力の量で変わる。APIの利用量の情報で、実際にキャッシュが使われたかを確かめるんだ。
もっと詳しく知りたい人へ

キャッシュは、モデルに永久に覚えさせる機能?

キャッシュには有効期限や再利用の条件があり、モデルを追加学習させて永久に覚えさせる機能ではありません。モデル、保存期間、入力の一致などの条件を満たす範囲で再利用する仕組みです。

ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「プロンプトキャッシング」って出てきたら「共通の入力の処理結果を再利用して、LLMの再処理を減らす仕組み」と思えばだいたいOK!
📖 おまけ:英語の意味
「Prompt Caching」 = プロンプトの処理結果を一時保存して再利用すること
💬 Promptはモデルへの入力、Cachingは再利用のために保存することだよ。過去の回答をコピーするのではなく、共通の入力を処理する部分の再利用を指すんだ。

参考資料

← 用語集にもどる