バイエンコーダー とは？

クエリ（質問）と文書を別々にベクトル（数値の塊）に変換して、そのベクトル同士の距離を測ることで「どれくらい似ているか」を判定するモデルだよ。

クロスエンコーダーは質問と文書を一緒に処理するから精度は高いんだけど、遅い。バイエンコーダーは別々に処理するから速いんだ。ただし、2つが直接やり取りしないので精度はやや劣るよ。

文書側のベクトルを事前に全部計算してベクトルDBに保存しておけるんだよ。検索するときはクエリをベクトル化して距離を測るだけだから、100万件あっても一瞬で終わるんだ。

精度が問題になる場面では不十分なことがあるんだよ。「似たキーワードを含む文書」をうまく区別できないケースがあるから、本当に重要な箇所ではクロスエンコーダーで再評価するんだ。

RAGの第一段階の検索がまさにそれだよ。ベクトルDBから候補をザっと100件取ってきて、そこからクロスエンコーダーで上位10件に絞り込んでLLMに渡す、という流れが定番なんだ。

その表現がぴったりだよ。セマンティック検索や類似文書検索など、大量の文書から「だいたい近いもの」を高速に探す場面ではバイエンコーダーが欠かせない存在なんだ。