理解长形式问答中的检索增强
计算与语言
2025-10-07 v2
摘要
在语言模型（LM）的长形式生成任务中，检索文档如何被使用尚缺乏充分研究。我们针对长形式问答（LFQA）中的检索增强 LM 提出两项受控研究：一项固定 LM 并变换证据文档，另一项固定证据文档并变换 LM。我们研究生成答案的多种属性（如流畅度、长度、方差），重点考察生成答案对上下文中证据文档的归因。我们收集了一个数据集（SALAD），包含 LFQA 中句子级答案归因的人工标注，并评估了现有的自动判断归因方法。我们发现，尽管 LM 能利用相关的上下文文档，生成答案仅部分可归因于这些文档，尤其对于未经检索增强训练的 LM。总体而言，我们的分析揭示了检索增强如何影响长知识密集型文本生成，并为未来工作指明方向。
引用
@article{arxiv.2310.12150,
title = {Understanding Retrieval Augmentation for Long-Form Question Answering},
author = {Hung-Ting Chen and Fangyuan Xu and Shane Arora and Eunsol Choi},
journal= {arXiv preprint arXiv:2310.12150},
year = {2025}
}
备注
COLM 2024 Camera Ready Version