社内文書のRAGに、キーワード検索(BM25)とベクトル検索の両方を載せたものの、結果をどう1本の順位に束ねるかで手が止まる。型番や固有名詞はBM25が強く、言い換えにはベクトルが強い。だが両者のスコアをそのまま足すと、片方が結果を支配する。この問題を小さな実装で解くのが Reciprocal Rank Fusion(RRF、順位の逆数による統合)です。
なぜBM25とベクトルのスコアは足せないのか
BM25の値には上限がなく、ベクトル検索のコサイン類似度は0.333〜1.00程度に収まります。尺度が違うため、スコアの直接加算は成立しません。
Azure AI Searchの公式ドキュメントによると、全文検索のBM25スコアには上限がなく、ベクトル検索(コサイン)は0.333〜1.00の範囲に収まります。同じ「0.8」でも意味がまったく違います。
正規化で尺度を揃える方法もありますが、クエリごとにスコア分布が変わるため、重みの調整が運用負荷になります。RRFはスコアを捨てて順位だけを使うことで、この問題を回避します。
RRFは順位をどう統合するのか
RRFは各検索結果の順位を1/(rank+k)に変換し、文書ごとに合計して並べ直します。Azure AI Searchのドキュメントはkの例に60を挙げています。
手順は3つです。
- BM25とベクトル検索を別々に実行し、それぞれ順位付きの候補リストを得る
- 各リストでの順位
rankから1/(rank+k)を計算する - 同じ文書IDのスコアを合算し、合計の降順で並べる
k=60 で、4件の文書を統合した例です。
| 文書 | BM25順位 | ベクトル順位 | RRFスコア |
|---|---|---|---|
| B | 2位 | 1位 | 1/62 + 1/61 = 0.03252 |
| A | 1位 | 3位 | 1/61 + 1/63 = 0.03227 |
| D | 圏外 | 2位 | 1/62 = 0.01613 |
| C | 3位 | 圏外 | 1/63 = 0.01587 |
AはBM25で1位でも、両方で上位に入ったBが勝ちます。「複数の検索で上位に出る文書を押し上げる」のがRRFの性質です。片方にしか現れない文書は、合算されないぶん下がります。
同一文書が複数リストに現れるため、文書IDで名寄せしてから合算する必要があります。チャンク単位で検索する場合は、チャンクIDと文書IDのどちらで寄せるかを先に決めておきます。
kと候補件数はどう決めればよいか
RRFの定数kと、ベクトル検索で取得する近傍数kは別物です。混同すると設定の意味を取り違えます。
Microsoftのドキュメントは、RRFの定数kとベクトルクエリの k(近傍の取得件数)が「entirely separate」であると明記しています。
- RRFの定数k: 順位の差をどれだけ緩やかに扱うかを決める。kが大きいほど上位と下位の差が縮む。同ドキュメントは60のような小さめの値を例示しており、まず60から始めればよい
- ベクトルクエリのk: RRFに渡すベクトル側の候補数。検索エンジン側の設定
- maxTextRecallSize: BM25側からRRFに渡す件数。プレビュー機能で、既定1,000、最大10,000。公式は、ベクトル検索が優勢なら減らし、大きな索引で取りこぼすなら増やすと説明している
文書の同じページには、k は30〜50、top は10〜20から始め、評価で効果を確認できたときだけ設定を足す進め方が示されています。最初から全部を最大にしないことが要点です。
kの最適値は一般論では決まりません。自社のクエリ集合で、正解文書が上位に入る割合を比較して決めます。
RRFのスコアと、後段のrerankerの役割は何か
RRFスコアは順位の合成値で、正解確率ではありません。最大でも約2/kで、低く見えても異常ではありません。
RRFスコアは小さな値になります。公式のハイブリッド例では上位文書のスコアが約0.0328で、これは2リスト両方で1位のときの 2/61 に相当します。ドキュメントも「0.03のスコアでも強い一致でありうる」と説明しています。0.5以上なら採用のような閾値判定には使えません。
責務は次のように分けます。
- RRF: 異なる尺度の検索結果を、順位だけで1つの候補リストにまとめる
- reranker(再順位付け): 候補を質問との関連度で並べ替える。Azure AI Searchではセマンティックランカーがその役割で、RRFの後段で動作する。スコアは別項目(
@search.rerankerScore)で返る
セマンティックランカーは最大50件を入力に取るため、rerankerを使うならRRFの出力を50件以上確保します。重みづけが必要なら、ベクトルクエリ側の重みで調整できます(既定は1.0)。
小さく始める手順
まず検索を2系統に分けて順位表を出し、名寄せとRRF合算を実装します。評価セットで比較してから、件数と重みを調整します。
- 代表的な質問を20〜50件集め、期待する正解文書を記録する
- BM25のみ、ベクトルのみ、RRFの3通りで上位10件を取り、正解が入る割合を比べる
- RRFの効果が出ない質問を見て、候補件数・k・rerankerの要否を1つずつ変える
改善率は自社データで測るまで分かりません。他社の数値をそのまま期待値にしないでください。導入から評価セット作成まで伴走が必要な場合は、Kuuの導入支援で相談できます。関連する設計はRAGとツール使用の使い分けも参照してください。
参考
- Hybrid Search Scoring (RRF) - Azure AI Search(Microsoft Learn)
- Create a Hybrid Query - Azure AI Search(Microsoft Learn)
- Cormack, Clarke, Büttcher "Reciprocal rank fusion outperforms Condorcet and individual rank learning methods"(SIGIR 2009)
まとめ
BM25とベクトル検索はスコア尺度が違うため、RRFで順位だけを統合するのが小規模実装の近道です。RRFの定数kと近傍数kを区別し、文書IDで名寄せし、RRFスコアを確率として扱わないこと。品質は自社の評価セットで測って決めます。ハイブリッド検索の設計や評価の進め方は、Kuu株式会社にご相談ください。
