CREPE：带有错误预设的开放域问答
计算与语言
2022-12-01 v1 人工智能
摘要
寻求信息的用户经常提出带有错误预设的问题，尤其是在询问不熟悉的话题时。相比之下，大多数现有的问答（QA）数据集假设所有问题都有明确的答案。我们引入了 CREPE，一个包含来自在线信息寻求论坛的自然分布的预设失败的 QA 数据集。我们发现 25% 的问题包含错误预设，并为这些预设及其更正提供了标注。通过广泛的基线实验，我们表明现有开放域 QA 模型的改编能够中等程度地找到预设，但在预测预设是否在事实上正确时却很困难。这在很大程度上是由于难以从大型文本语料库中检索相关证据段落。CREPE 提供了一个研究真实场景下问答的基准，我们的分析为未来在更好建模和进一步研究该任务方面的工作提供了途径。
引用
@article{arxiv.2211.17257,
title = {CREPE: Open-Domain Question Answering with False Presuppositions},
author = {Xinyan Velocity Yu and Sewon Min and Luke Zettlemoyer and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2211.17257},
year = {2022}
}