利用检索边缘化缓解多文档问答中的假阴性上下文
计算与语言
2021-09-10 v2
摘要
需要来自多个文档信息的问答(QA)任务通常依赖检索模型来识别用于推理的相关信息。检索模型通常被训练为最大化标注支持证据的似然。然而，当从如维基百科这样的大型文本语料库中进行检索时，正确答案往往可以从多个证据候选中获得。此外，在标注过程中并非所有这些候选都被标记为正例，这使得训练信号微弱且含噪。当问题不可回答或答案为布尔值时，该问题更加严重，因为模型无法依赖词汇重叠来建立答案与支持证据之间的联系。我们提出了一种处理不可回答查询的集合值检索新参数化方法，并表明在训练期间对该集合进行边缘化可使模型缓解支持证据标注中的假阴性。我们在两个多文档QA数据集IIRC和HotpotQA上测试了我们的方法。在IIRC上，我们表明带边缘化的联合建模将模型性能提升了5.5个F1点，并达到了50.5 F1的新最优(state-of-the-art)性能。我们还表明，在HotpotQA的fullwiki设定下，检索边缘化相比非边缘化基线带来了4.1个QA F1的提升。
引用
@article{arxiv.2103.12235,
title = {Mitigating False-Negative Contexts in Multi-document Question Answering with Retrieval Marginalization},
author = {Ansong Ni and Matt Gardner and Pradeep Dasigi},
journal= {arXiv preprint arXiv:2103.12235},
year = {2021}
}
备注
Accepted to EMNLP 2021 (main conference)