RAG中的少即是多：面向生成器对齐重排序与证据选择的信息增益剪枝
计算与语言
2026-01-27 v1 人工智能
摘要
检索增强生成（RAG）通过外部证据为大型语言模型提供基础，但在有限的上下文预算下，关键挑战是决定应注入哪些检索到的段落。我们表明，检索相关性指标（例如 NDCG）与端到端 QA 质量的相关性较弱，并且在多段落注入下甚至可能呈负相关，其中冗余和轻微冲突会破坏生成的稳定性。我们提出了 \textbf{信息增益剪枝（IGP）}，这是一个对部署友好的重排序与剪枝模块，它使用生成器对齐的效用信号选择证据，并在截断之前过滤微弱或有害的段落，而无需更改现有的预算接口。在五个开放域 QA 基准以及多个检索器和生成器上，IGP 持续改善了质量-成本权衡。在一个具有代表性的多证据设置中，IGP 在平均 F1 上实现了约 +12--20% 的相对提升，同时与仅检索器基线相比，将最终阶段的输入 token 减少了约 76--79%。
引用
@article{arxiv.2601.17532,
title = {Less is More for RAG: Information Gain Pruning for Generator-Aligned Reranking and Evidence Selection},
author = {Zhipeng Song and Yizhi Zhou and Xiangyu Kong and Jiulong Jiao and Xinrui Bao and Xu You and Xueqing Shi and Yuhang Zhou and Heng Qi},
journal= {arXiv preprint arXiv:2601.17532},
year = {2026}
}
备注
26 pages, 10 figures