99%成功悖论:近完美检索等价于随机选择
信息检索
2026-05-20 v1 人工智能
机器学习
摘要
信息检索(IR)历史长期以来,检索结果设计用于人类消费者,他们能够自行扫描、筛选并丢弃无关信息。这塑造了检索系统优化查找与排序相关文档的思路,但非保持结果简洁性,因为人类是最终过滤器。然而,LLM的出现打破了这一假设,因其缺乏此类过滤能力。为此,我们引入Bits-over-Random(BoR),一种纠正机会的检索选择性度量,揭示高成功率掩盖随机水平性能的现象。我们将选择性度量为,其中为特定成功规则(此处为覆盖度:个相关文档出现在前K名)的超几何基准。在20 Newsgroups数据集上,BM25与SPLADE在K=100时报告>99%的成功率(覆盖度),但,表明该深度处的选择性为随机水平。当预期覆盖比超过3~5时,基准主导,选择性崩溃。下游检索增强生成(RAG)评估亦确认此模式:LLM准确率在K=100时可显著下降,符合近零BoR的上限。相比之下,BoR在BEIR/SciFact与MS MARCO上保持为正,确认基准预测在稀疏与大规模场景中的有效性。我们进一步表明,该崩溃边界也适用于LLM代理工具选择,因目录规模小即使完美选择者也导致选择性消失。这一发现建议在报告传统指标时同步呈现BoR,并在额外检索提供微乎其微选择性收益却扩大计算成本时重新审视深度选择。
引用
@article{arxiv.2605.18857,
title = {The 99% Success Paradox: When Near-Perfect Retrieval Equals Random Selection},
author = {Vyzantinos Repantis and Harshvardhan Singh and Tony Joseph and Cien Zhang and Akash Vishwakarma and Svetlana Karslioglu and Michael Wyatt Thot and Ameya Gawde},
journal= {arXiv preprint arXiv:2605.18857},
year = {2026}
}
备注
12 pages, 2 figures, 7 tables. Accepted at ICLR 2026 Blog Track, https://iclr-blogposts.github.io/2026/blog/2026/bits-over-random/