リランカー とは？

最初の検索だけでも足りる場合はあるよ。リランカーは、いったん集めた候補をもう一度評価して並べ直す仕組み。本屋なら、棚から集めた候補の本を、今の質問に合う順へ並べるイメージだね。

代表例のクロスエンコーダーは、質問と文書を一緒に入力して関連度を評価する。質問と文書を別々にベクトル化する方式と違い、両者の組み合わせを見られるんだ。ただし、使うモデルや文書によって結果は変わるので、改善を実際に確かめる必要があるよ。

文書ごとに質問との組み合わせを評価するので、大量の文書を全部調べると計算量が増える。そこで初回検索で候補を絞り、その候補だけを再評価する。少数の文書なら最初から全部を評価する方法もあるし、候補数に20件や50件という共通の決まりはないよ。

検索結果を利用者へ見せる場面でも使えるよ。RAGなら、並べ直した候補の上位を回答用の材料へ渡す。Cohere RerankのAPIや、自分の環境で動かせるBGE Rerankerなどの例がある。導入するだけで回答の正しさが保証されるわけではないんだ。

候補の順位を直すだけなので、その文書は取り戻せないよ。まず必要な文書を候補に含められるかを調べる。そのうえで、関連する文書が上位へ来るか、待ち時間や計算の負担が許容できるかを、同じ質問の組で比較しよう。