【せまんてぃっくけんさく】
セマンティック検索 とは？
最終更新:
💡 意味的な関連も使って、検索候補を探す技術
語句の一致だけでなく、意味的な関連を使って候補を探す検索。埋め込みを使う例、キーワード検索との組み合わせ、結果の評価と事実確認の違いを解説します。
📌 このページのポイント
- 語句の一致だけでなく意味的な関連を使う
- 埋め込みを用いる方式ではモデルの表現を比較する
- 同義語への対応はキーワード検索でもできる
- 意味が近い結果でも、正確さや有用性の確認は必要
ひよこ 単語が違っても、探せるの？
ペンギン先生 例えば「犬の餌」で、ドッグフードに関する文書を候補にできる。これは意味的な関連を使う例だよ。ただし、従来のキーワード検索でも同義語を設定できるので、言い換えに対応するのはこの方式だけではない。
ひよこ どうやって意味を比べるの？
ペンギン先生 埋め込みを使う方式では、検索文と文書をモデルで数値の表現にして比較する。どんな表現や類似度を使うかは方式による。すべてが同じモデルとコサイン類似度で動くわけではないよ。
ひよこ 意味が近いなら、答えも正しい？
ペンギン先生 別の話だよ。検索は関連する候補を探すもの。意味が近い文書でも、古かったり、質問への答えを含まなかったりする。内容と出典を確かめることや、必要な条件で絞ることも大切だ。
ひよこ キーワード検索は、もういらない？
ひよこ 導入したら、検索は必ず良くなる？
ペンギン先生 保証ではない。使うモデル、文書、質問によって結果は変わる。実際の質問と期待する候補を用意して、重要なものが見つかるか、関係ないものが上がらないかを評価しよう。
もっと詳しく知りたい人へ
ハイブリッド検索は、スコアを足すだけ？
統合の方法は一つではありません。例えばElasticはRRFを使って順位を組み合わせる方法を案内しています。別々の検索方式の生のスコアが同じ尺度だと決めず、用途に合わせて結果を評価します。
検索で見つけることと、回答を生成することは同じ？
異なります。セマンティック検索は関連する文書などを探す処理です。見つけた情報を使って文章を生成する場合は、その後の処理でも情報の正確さや回答の根拠を確認します。
まとめ：ざっくりこれだけ覚えればOK！
「セマンティック検索」って出てきたら「意味的な関連も使って、検索候補を探す技術」と思えばだいたいOK！
📖 おまけ：英語の意味
「Semantic Search」 ＝ 意味に基づく検索
💬 Semanticは意味に関わるという意味です。意味的な関連を検索へ取り入れますが、人間と同じ理解や、結果の正しさを保証する言葉ではありません。