【しーえーじー】

CAG(Cache-Augmented Generation) とは?

公開:
💡 資料を先に読んで、質問に備えるAI
📌 このページのポイント
決まった資料を先に読んでおく 対象の資料先に入力を処理KVキャッシュAIの回答KVキャッシュを再利用利用者の質問?資料の範囲・更新・文脈上限が条件
決まった知識を前もって入力し、処理した状態を再利用する方式。すべての検索や資料更新を不要にする意味ではありません。
ひよこ ひよこ
同じ小さなマニュアルに何度も質問するなら、毎回探すの?
ペンギン先生 ペンギン先生
CAGという方式では、対象の資料を先に読み込ませ、処理した状態をキャッシュして質問に使うよ。論文は資料検索を回答時に行わない構成を提案しているんだ。
ひよこ ひよこ
RAGと何が違うの?
ペンギン先生 ペンギン先生
RAGは質問に関連する資料を検索して渡す。CAGの提案は、必要な資料を事前に読み込んだKVキャッシュを使うよ。何をいつ準備するかが違うんだ。
ひよこ ひよこ
どれだけ資料があっても全部入れればよい?
ペンギン先生 ペンギン先生
モデルが扱える範囲やメモリの条件があるよ。論文でも限られた管理しやすい知識の規模を重視している。巨大な資料や頻繁な更新がある仕事まで、必ず置き換えられるわけではないんだ。
ひよこ ひよこ
資料の内容をモデルが永久に覚える?
ペンギン先生 ペンギン先生
モデルの学習で重みを書き換える説明とは違うよ。資料を処理したキャッシュを利用する。資料やモデルが変わったときは準備し直す必要があり、回答の正しさの確認も残るんだ。
もっと詳しく知りたい人へ

通常のプロンプトキャッシングと同じ?

入力の処理結果を再利用する仕組みは関係します。CAGの論文では、対象の知識を事前に準備したKVキャッシュで扱い、回答時の検索を省く知識利用の構成を提案しています。APIのキャッシュ機能を有効にすることだけで、その構成が完成するわけではありません。

RAGはもう不要?

論文の結果をすべての用途に一般化しません。資料量、更新頻度、必要な資料の選び方、回答品質を同じ仕事で比較します。検索を省く構成が合う場合と、検索が必要な場合があります。

ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「CAG」って出てきたら「資料を先に読み込んだ処理結果を使って、質問へ答える方式」と思えばだいたいOK!
📖 おまけ:英語の意味
「Cache-Augmented Generation」 = キャッシュを利用して補強する生成
💬 回答の丸暗記ではなく、資料を処理した状態を利用する方式だよ

参考資料

← 用語集にもどる