SuRe：基于答案候选的检索摘要用于 LLM 开放域问答

大型语言模型（LLM）在各种自然语言处理任务中取得了显著进展，包括问答（QA）任务。虽然通过检索相关段落引入新信息是提升 LLM 问答能力的一种有前景的方式，但现有方法通常需要额外的微调，这在近期的 LLM 中变得不可行。通过提示增强检索到的段落有望解决这一局限性，但这一方向的探索还很有限。为此，我们设计了一个简单而有效的框架，基于摘要检索（SuRe）来增强 LLM 的开放域问答（ODQA）。SuRe 帮助 LLM 为给定问题预测更准确的答案，这些答案得到了摘要检索的良好支持，摘要检索可以被视为从检索到的段落中提取的明确依据。具体而言，SuRe 首先为多个答案候选中的每一个构建检索段落的摘要。然后，SuRe 通过评估生成摘要的有效性和排名，从候选集中确认最合理的答案。在多个 ODQA 基准上的实验结果证明了 SuRe 的优越性，与标准提示方法相比，精确匹配（EM）提高了 4.6%，F1 分数提高了 4.0%。SuRe 还可以与广泛的检索方法和 LLM 集成。最后，SuRe 生成的摘要显示出额外的优势，可以衡量检索段落的重要性，并作为模型和人类更偏好的依据。