什么是 Hybrid Search?
更新于
Hybrid Search(混合检索)是一种同时运行两个或更多互补候选生成器,对结果去重,并通过明确融合策略输出统一排序列表的检索架构。
快速了解
| 全称 | Hybrid Search in Information Retrieval |
|---|---|
| 创建时间 | 随着大模型落地,2023-2024 年迅速成为 RAG 系统中提升召回质量的标配技术。 |
| 规范文档 | 官方规范 |
工作原理
候选窗口决定召回上限
每个分支都应声明查询变换、索引版本、过滤语义、候选深度和超时。结果需要稳定的文档或分块 ID,编排层才能跨分支去重同一证据,同时保留来源轨迹。融合无法加入所有分支窗口之外的文档,因此应先测量分支级与并集 Recall@K,再决定是否增加或重新分配候选预算。最终 topK 很大并不能弥补每路候选窗口过浅。
按信号契约选择融合方法
[倒数排名融合](https://qubittool.com/zh/glossary/reciprocal-rank-fusion)只组合位置,不假设 BM25 与向量分数同尺度,但会丢弃分数间距,而且仍受排名常数、权重和窗口影响。分数融合只有在归一化或校准规则明确时,才保留可解释的分数幅度。词法与语义融合研究表明,在其评测条件下,经调优的凸组合可以达到甚至超过 RRF,因此固定 alpha=0.5 与某个 RRF 默认值都不是通用最优解。
发布的是整条检索管线
在同一份相关性标注上比较每个单分支、融合结果以及“融合加重排”结果,并报告候选 Recall@K、MRR 或 nDCG、空结果率、重复率、越权率、p50/p95 延迟和分支超时率。测试精确标识符、同义改写、语言、否定、版本和新鲜文档等切片。选定策略须在留出查询上复核,随后把 Analyzer、Embedding 模型、语料版本、过滤、分支深度和融合配置作为一个带版本的检索制品进行影子验证。
主要特点
- 组合相关性信号与失效模式不同的多个候选生成器
- 只能处理各分支有限窗口中的候选,因此存在明确召回上限
- 依赖稳定文档身份完成跨分支去重并保留候选来源
- 可采用排名、归一化分数、学习模型或规则感知的融合策略
- 每增加一路召回都会引入索引、查询、延迟、超时与一致性成本
- 必须与各单分支做同口径评测,不能预设融合一定提升相关性
常见用途
- 同时处理自然语言问题与精确错误码的技术文档搜索
- 按描述意图检索商品,并保留型号、品牌和属性精确匹配
- 组合多语言语义检索与特定语言的词法索引
- 在重排前合并查询改写、图、稠密和稀疏候选
- 在明确权限和延迟预算下构建高召回 RAG 候选层
示例
Loading code...常见问题
混合检索一定优于单独的稠密或词法检索吗?
不一定。只有当各分支的错误互补,而且融合策略能利用这种互补时才会提升。高度相关的分支可能只增加成本,错误融合还可能压低最佳结果。应在同一份留出标注上比较每个分支与完整管线。
混合检索必须由 BM25 和稠密向量组成吗?
不是。这只是常见基线,不是定义。系统还可以组合学习型稀疏检索、图检索、结构化查询、多语言索引、查询改写、时效性或权威性信号,前提是候选身份和排序语义明确。
分数融合是否应该固定使用 alpha 等于 0.5?
不应默认如此。原始分数的范围与分布可能完全不同。需要先定义归一化或校准方法,再用代表性标注调权重,并在留出查询上验证。等权只能作为实验基线。
融合能找回所有分支候选窗口之外的相关文档吗?
不能。融合只能看到各分支已经返回的候选。应先测量每个分支及其并集的 Recall@K,再为重排器或上下文选择器配置足够深度,同时满足延迟和成本目标。
某个检索分支部分失败时应该怎么办?
上线前必须定义策略。可选相关性分支可以显式降级并记录来源与指标;权限或租户过滤失败通常应拒绝返回。不能悄悄把单个幸存分支标记成已经完整执行的混合检索。