【ぷろんぷときゃっしんぐ】
プロンプトキャッシング とは?
最終更新:
💡 共通の入力の処理を再利用し、回答はその都度生成する
LLMへの入力で繰り返し使う共通部分の処理結果を保存し、後の要求で再利用する仕組み。共通の指示や長い資料などの再処理を減らせる。回答そのものの保存とは異なり、利用条件や費用はAPI・モデルで変わる。
📌 このページのポイント
- 共通の指示や資料など、入力の処理結果を再利用する
- 回答をそのまま返すレスポンスキャッシュとは異なる
- 一致する入力、長さ、有効期限など、再利用の条件がある
- 効果はキャッシュの命中率や作成・読出し料金、出力の量で変わる
同じ資料を何度もAIに読ませるときに使うの?
そうだよ。共通の指示や資料など、繰り返し使う入力の処理結果を保存して再利用する。条件が合えば、毎回その部分を最初から処理する負担を減らせるんだ。
前の回答を返すだけ?
回答の保存とは別だよ。共通の入力の処理結果を使いながら、新しい質問に対する回答を生成する。キャッシュがあっても、回答の生成に必要な計算や費用がなくなるわけではないんだ。
同じ資料を送らなくてよくなる?
似た文章ならキャッシュが使える?
必ず料金が9割安くなる?
もっと詳しく知りたい人へ
キャッシュは、モデルに永久に覚えさせる機能?
キャッシュには有効期限や再利用の条件があり、モデルを追加学習させて永久に覚えさせる機能ではありません。モデル、保存期間、入力の一致などの条件を満たす範囲で再利用する仕組みです。
まとめ:ざっくりこれだけ覚えればOK!
「プロンプトキャッシング」って出てきたら「共通の入力の処理結果を再利用して、LLMの再処理を減らす仕組み」と思えばだいたいOK!
📖 おまけ:英語の意味
「Prompt Caching」 = プロンプトの処理結果を一時保存して再利用すること
💬 Promptはモデルへの入力、Cachingは再利用のために保存することだよ。過去の回答をコピーするのではなく、共通の入力を処理する部分の再利用を指すんだ。