面向熟悉度的证据压缩用于检索增强生成
计算与语言
2025-10-21 v3 人工智能
信息检索
机器学习
摘要
检索增强生成(RAG)通过整合来自外部来源检索到的证据来提高大型语言模型(LLM)的性能。然而，它们往往难以应对不一致和无关的信息，这些信息尤其在需要多个证据 piece 时会分散注意力。虽然通过压缩模型压缩检索到的证据以解决此问题，但压缩后的证据可能仍对用于下游任务的目标模型而言是不熟悉的，可能无法有效利用证据。我们提出了FaviComp(熟悉度感知证据压缩)，一种新颖的无训练证据压缩技术，通过使检索到的证据对目标模型更加熟悉，同时无缝整合模型的参数化知识。实验结果表明，FaviComp在多个开放域问答数据集上 consistently 超过大多数最新证据压缩基线，提高了准确率，可提升最高达28.1%，同时实现了高压缩率。此外，我们展示了在证据压缩期间有效地整合了参数化和非参数化知识。
引用
@article{arxiv.2409.12468,
title = {Familiarity-Aware Evidence Compression for Retrieval-Augmented Generation},
author = {Dongwon Jung and Qin Liu and Tenghao Huang and Ben Zhou and Muhao Chen},
journal= {arXiv preprint arXiv:2409.12468},
year = {2025}
}
备注
EMNLP 2025 Findings