EviNote-RAG: 通过答案支持性证据笔记增强 RAG 模型
计算与语言
2025-10-17 v3
摘要
检索增强生成（RAG）通过将外部信息融入模型推理，推动了开放域问答的发展。然而，有效利用外部信息以增强推理面临以下挑战：（1）低信噪比，即支持答案的外部信息被无关材料稀释；（2）误差累积，在多跳推理中引入不完整或误导性信息时产生。为应对这些挑战，我们提出了 EviNote-RAG，一个遵循“检索-笔记-回答”工作流的框架。模型不直接对原始外部信息进行推理，而是首先生成支持性证据笔记（SENs），其简明扼要地保留对答案至关重要的信息，并明确标记关键信息与不确定信息以提高准确性。我们进一步设计了基于蕴含的证据质量奖励（EQR），以确保 SENs 在逻辑上足以推导出最终答案，从而提升 SENs 的质量。在域内和域外 QA 基准上的实验表明，EviNote-RAG 实现了 SOTA 性能，提高了答案准确性、训练稳定性、鲁棒性和效率。特别地，得益于推理过程的改进，它在 HotpotQA 上实现了 20% 的相对 F1 提升（+0.093），在 Bamboogle 上实现了 40% 的相对 F1 提升（+0.151），在 2Wiki 上实现了 91% 的相对 F1 提升（+0.256）。
引用
@article{arxiv.2509.00877,
title = {EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes},
author = {Yuqin Dai and Guoqing Wang and Yuan Wang and Kairan Dou and Kaichen Zhou and Zhanwei Zhang and Shuo Yang and Fei Tang and Jun Yin and Pengyu Zeng and Zhenzhe Ying and Can Yi and Changhua Meng and Yuchen Zhou and Yongliang Shen and Shuai Lu},
journal= {arXiv preprint arXiv:2509.00877},
year = {2025}
}