覆盖错觉：从预检索路由故障到后检索级联在生产级 RAG 系统中的影响
计算与语言
2026-05-27 v1 信息检索
摘要
在现代 RAG 流程中, 查询增强方法如 HyDE 和查询扩展被应用于每个查询, 导致巨大的 LLM 推理成本和增加的端到端延迟。对于这一开销在实际生产流量中的经验性依据仍基本未被探讨。我们 presenting 对丹麦国家百科全书的案例研究, 在 20,000 个查询-流程组合的生产流量和合成条件下评估五种检索工作流程。在该系统中, 合成查询表明需要对超过 90% 的查询进行 LLM 增强才能实现高检索覆盖率。然而, 在我们的生产延迟政策下, 只有 27.8% 的真实用户查询需要 LLM 增强。我们将这一差距称为覆盖错觉(coverage illusion), 并将其归因于合成查询分布与真实查询分布之间的结构性不匹配。预检索路由无法解决这一差距, 因为 LLM 增强的需求只有在检索索引后才会显现, 这一结果经我们的评估确认了四种机器学习范式。由于该覆盖差距无法从查询本身被检测, 这就激发了后检索级联, 该级联按最便宜的顺序运行工作流程, 并在步骤返回无文档时才升级到 LLM 增强。该级联在无需训练开销或次要 serving 基础设施的情况下, 通过 Always-HyDE 提高了质量 +0.140 复合总分, 将延迟降低 31.8%, 并为 72.2% 的真实用户查询无需 LLM 增强。
引用
@article{arxiv.2605.27220,
title = {The Coverage Illusion: From Pre-retrieval Routing Failure to Post-retrieval Cascades in a Production RAG System},
author = {Zafar Hussain and Kristoffer Nielbo},
journal= {arXiv preprint arXiv:2605.27220},
year = {2026}
}