【ハイドかそうぶんしょううめこみ】
HyDE（仮想文書埋め込み） とは？
公開:
💡 「答えを先に作ってから、本物を探す」逆転発想の検索術
LLMがクエリに対して仮想的な回答文書を生成し、その文書のembeddingでベクトル検索する技術。クエリと文書の表現ギャップを埋めて検索精度を上げる。
📌 このページのポイント
ペンギン先生 普通はそうだよ。でもクエリ「〇〇の仕組みは？」と、実際の文書「〇〇は〜である」って表現がズレてて検索精度が落ちることがあるんだよ。
ひよこ そのズレをどうやって直すの？
ペンギン先生 HyDEはまずLLMに「仮の回答文書」を書かせるんだ。そしてその文書のembeddingで検索する。文書同士で比べるからズレが小さくなるんだよ。
ひよこ でも仮の回答が間違ってたら変な文書を拾っちゃわない？
ペンギン先生 面白いことに、内容が多少ハズれても埋め込みの「方向性」が合っていれば関連文書を引き寄せられるんだよ。実験でもそれが確かめられてるんだ。
ひよこ 仮の文書はあくまで検索の「道しるべ」なんだね！
ペンギン先生 そう！ 最終的な回答は取得した本物の文書から作るから、フィクションが回答に混ざる心配は少ないんだよ。
ひよこ 質問→仮文書生成→検索→本物取得→回答って流れ、確かに賢いね！
まとめ：ざっくりこれだけ覚えればOK！
「HyDE」って出てきたら「LLMに仮の答えを書かせてそのembeddingで検索する技術」と思えればだいたいOK！
📖 おまけ：英語の意味
「Hypothetical Document Embeddings」 ＝ 仮想文書埋め込み
💬 Hypothetical（仮想の）＋ Document（文書）＋ Embeddings（埋め込み）。「もしこういう文書があったら？」という仮説から始まる検索手法だよ