融合生成与检索知识用于开放域问答
计算与语言
2023-10-24 v1 人工智能
摘要
开放域问答(QA)系统通常构建有检索模块。然而,从给定来源检索段落已知存在知识覆盖不足的问题。作为替代方案,提示大语言模型(LLMs)基于其参数化知识生成上下文段落已被证明可提升QA性能。但LLMs倾向于“幻觉”出与检索知识相冲突的内容。基于被两种来源共同支持的答案更可能为正确的直觉,我们提出COMBO,一种面向兼容性的知识融合以改进开放域问答(Compatibility-Oriented knowledge Merging for Better Open-domain QA)框架,以有效利用这两类信息源。具体而言,我们基于用银兼容标签训练的判别器,将LLM生成的段落与检索到的对应段落匹配为兼容对。随后,一个基于Fusion-in-Decoder的阅读器模型处理这些段落对以得出最终答案。实验表明,COMBO在四个被测开放域QA基准中的三个上优于具有竞争力的基线。进一步分析揭示,我们提出的框架在知识冲突程度更高的场景中表现出更大的效能。
引用
@article{arxiv.2310.14393,
title = {Merging Generated and Retrieved Knowledge for Open-Domain QA},
author = {Yunxiang Zhang and Muhammad Khalifa and Lajanugen Logeswaran and Moontae Lee and Honglak Lee and Lu Wang},
journal= {arXiv preprint arXiv:2310.14393},
year = {2023}
}
备注
EMNLP 2023 - Camera Ready