开放域问答系统在最小编辑问题上的对比一致性探索
计算与语言
2023-05-25 v1
摘要
对比一致性，即模型在存在扰动时做出一致正确预测的能力，是 NLP 中的一个重要方面。尽管已在情感分析与阅读理解等任务中有所研究，但由于难以收集满足事实性要求的扰动问题，它在开放域问答 (OpenQA) 中仍未被探索。在本工作中，我们收集最小编辑问题作为具有挑战性的对比集来评估 OpenQA 模型。我们的收集方法结合了人工标注与大型语言模型生成。我们发现，广泛使用的稠密段落检索器 (DPR) 在我们的对比集上表现不佳，尽管其在训练集上拟合良好且在标准测试集上具竞争力。为解决此问题，我们借助数据增强引入了一种简单而有效的查询端对比损失来改进 DPR 训练。我们在对比集上的实验表明，DPR 的对比一致性得到提升，且未牺牲其在标准测试集上的准确率。
引用
@article{arxiv.2305.14441,
title = {Exploring Contrast Consistency of Open-Domain Question Answering Systems on Minimally Edited Questions},
author = {Zhihan Zhang and Wenhao Yu and Zheng Ning and Mingxuan Ju and Meng Jiang},
journal= {arXiv preprint arXiv:2305.14441},
year = {2023}
}
备注
Accepted at TACL. This is a pre-MIT Press publication version