带有冲突上下文的开放域问答
计算与语言
2025-04-29 v4 人工智能
摘要
开放域问答系统通常依赖于来自大型文本集合(如网络)的信息来回答问题。然而，这类文本集合常常包含冲突信息，盲目依赖这些信息可能导致不实和不准确的答案。为理解这一问题的严重性，我们收集了一个人工标注数据集，问题带有冲突上下文(Question Answering with Conflicting Contexts, QACC)，发现高达25%的明确开放域问题在使用Google搜索检索时会导致冲突的上下文。我们评估并对三大强大语言模型(大型语言模型, Large Language Models, LLMs)进行基准测试，并展示它们在有效处理具有冲突信息的问题方面的局限性。为探索人类如何推理处理冲突上下文，我们要求标注员为其正确答案的选择提供解释。我们展示，通过对大型语言模型进行微调以解释其答案，可以将更丰富的信息引入训练，从而指导其处理冲突上下文的推理过程。
引用
@article{arxiv.2410.12311,
title = {Open Domain Question Answering with Conflicting Contexts},
author = {Siyi Liu and Qiang Ning and Kishaloy Halder and Wei Xiao and Zheng Qi and Phu Mon Htut and Yi Zhang and Neha Anna John and Bonan Min and Yassine Benajiba and Dan Roth},
journal= {arXiv preprint arXiv:2410.12311},
year = {2025}
}