检索增强开放域问答中的可回答性
计算与语言
2024-03-05 v1
摘要
开放域问答（ODQA）检索系统的性能可能表现出次优行为，提供具有不同程度不相关性的文本片段。不幸的是，许多现有的ODQA数据集缺乏专门针对识别不相关文本片段的示例。先前解决这一差距的尝试依赖于将问题与随机文本片段配对的简单方法。本文旨在研究使用这种随机策略训练的模型的有效性，揭示了它们在泛化到具有高语义重叠的不相关文本片段时的一个重要局限性。结果，我们观察到预测准确率大幅下降，从98%降至1%。为解决这一局限性，我们发现了一种训练模型识别此类片段的有效方法。通过利用SQuAD 2.0数据集中的不可回答对，我们的模型在面对这些具有挑战性的文本片段时达到了近乎完美（~100%）的准确率。
引用
@article{arxiv.2403.01461,
title = {Answerability in Retrieval-Augmented Open-Domain Question Answering},
author = {Rustam Abdumalikov and Pasquale Minervini and Yova Kementchedjhieva},
journal= {arXiv preprint arXiv:2403.01461},
year = {2024}
}
备注
5 pages, 3 tables