少即是多：面向高效检索增强生成推理的紧凑线索选择
计算与语言
2026-01-28 v7
摘要
当前的 RAG 检索器主要面向人类读者，强调完整、可读且连贯的段落。然而，大语言模型（LLM）更能从精确、紧凑且结构良好的输入中获益，这能提升推理质量与效率。现有方法依赖重排序或摘要提取来识别关键句子，但可能会引入语义断裂和不忠实性。因此，在 RAG 系统中，如何从大规模文档中高效提取并组织与答案相关的线索，同时降低 LLM 推理成本，仍是一项挑战。受奥卡姆剃刀启发，我们将以 LLM 为中心的检索构建为 MinMax 优化：最大化潜在线索的提取并对其进行重排序以良好组织，同时通过截断至最小充分线索集来最小化推理成本。在本文中，我们提出了 CompSelect，一种用于以 LLM 为中心的 RAG 的紧凑线索选择机制，由线索提取器、重排序器和截断器组成。(1) 线索提取器首先使用包含答案的句子作为微调目标，旨在提取充分的潜在线索；(2) 重排序器被训练为基于真实的 LLM 反馈来优先排序有效线索；(3) 截断器使用包含回答问题所需最小充分线索的截断文本作为微调目标，从而实现高效的 RAG 推理。在三个问答数据集上的实验表明，与一系列基线方法相比，CompSelect 在提高性能的同时减少了总延迟和在线延迟。进一步的分析也证实了它对不可靠检索的稳健性以及在不同场景下的泛化能力。
引用
@article{arxiv.2502.11811,
title = {Less is More: Compact Clue Selection for Efficient Retrieval-Augmented Generation Reasoning},
author = {Qianchi Zhang and Hainan Zhang and Liang Pang and Yongxin Tong and Hongwei Zheng and Zhiming Zheng},
journal= {arXiv preprint arXiv:2502.11811},
year = {2026}
}
备注
Accepted to the ACM Web Conference 2026 (WWW'26)