检索增强生成中的 Generate-then-Ground：多跳问答
计算与语言
2024-09-17 v2 信息检索
摘要
多跳问答（MHQA）任务对大型语言模型（LLM）提出了重大挑战，这需要大量的知识。当前解决方案，如检索增强生成，通常从外部语料库中检索潜在文档以读取答案。然而，这种检索-阅读范式的性能受制于检索器以及检索文档中不可避免的噪声。为缓解这些挑战，我们引入一种新颖的 generate-then-ground（GenGround）框架，融合 LLM 的参数化知识与外部文档以解决多跳问答。GenGround 使 LLM 在最终得出答案之前交替进行两个阶段：（1）构建更简单的单跳问题并直接生成答案；（2）在检索文档中对问题-答案对进行 grounding，纠正答案中的错误预测。我们还提出了一种指令导向 grounding distillation 方法，将该方法推广到更小的模型。在四个数据集上的大量实验表明，我们的方法优于当前方法。
引用
@article{arxiv.2406.14891,
title = {Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering},
author = {Zhengliang Shi and Weiwei Sun and Shen Gao and Pengjie Ren and Zhumin Chen and Zhaochun Ren},
journal= {arXiv preprint arXiv:2406.14891},
year = {2024}
}
备注
ACL 2024 (main conference)