セマンティック検索 とは？

普通のキーワード検索は「この単語が含まれているか」を見るんだ。「犬の餌」と検索したとき「ドッグフード」という言葉しか使っていない記事は引っかからない。セマンティック検索は「犬の餌」と「ドッグフード」が意味的に近いと分かるから、どちらの言葉を使っていても見つけられるんだよ。

2019年にGoogleがBERT（Bidirectional Encoder Representations from Transformers）を検索に導入してから、意味的な理解がかなり入っているよ。「薬局から近い駅で降りる」という検索に対して「at」と「to」の意味の違いを理解して正しい結果を返すようになったんだ。

検索クエリと文書を両方ベクトルに変換して、コサイン類似度の高いものを上位に返すんだ。事前に文書ライブラリ全体をベクトル化してベクトルデータベースに保存しておいて、クエリが来たらリアルタイムでベクトル化して近いものを探す流れだよ。

これが実運用で難しいところなんだ。セマンティック検索は曖昧な意味検索に強いけど、「正確な型番」「固有名詞」「コード」の検索は得意じゃなくてキーワード検索のほうが精度が出ることが多い。だからBM25（キーワード検索）とベクトル検索を組み合わせた「ハイブリッド検索」が現場では多く使われている。でも二つのスコアをどうブレンドするかのバランス設定は試行錯誤が必要で、正解のレシピがないのが難しいところなんだよ。