セマンティックキャッシュ とは？

普通のキャッシュは「まったく同じ文字列」でしかヒットしないんだよ。でもセマンティックキャッシュは「意味が似ているクエリ」をまとめてキャッシュできるんだね。

テキストをベクトルに変換する「embedding」という技術を使うんだよ。「今日の天気は？」と「今日は晴れてる？」を数値ベクトルで表すと、意味が近いから距離が小さくなるんだ。その距離が閾値以下ならキャッシュヒットと判断するんだね。

同じ質問が繰り返されやすいチャットボットやFAQシステムだと、ヒット率が高くなってAPIコストを大幅に削減できるよ。ただ「まったく同じ意図の質問が多いか」という前提条件が合わないと効果が薄いんだね。

キャッシュされた回答は「古い情報」のまま返され続けるリスクがあるんだよ。たとえば「最新の株価は？」という質問にキャッシュした昨日の回答を返したら間違いになるね。有効期限の設定と、リアルタイム性が必要な質問の除外設計が重要なんだよ。