(QA)$^2$:面向含可疑假设问题的问答
计算与语言
2023-08-31 v2
摘要
自然出现的信息寻求问题常包含可疑假设——即错误或无法验证的假设。包含可疑假设的问题具有挑战性,因为它们需要一种不同于典型信息寻求问题回答策略的独特应答策略。例如,问题“玛丽·居里何时发现铀?”若不作为典型的“何时”问题来回答,就必须先处理“玛丽·居里发现了铀”这一错误假设。在本工作中,我们提出 (QA)(Question Answering with Questionable Assumptions,含可疑假设的问答),一个由自然出现的搜索引擎查询构成的开放域评测数据集,这些查询可能包含也可能不包含可疑假设。要在 (QA) 上取得成功,系统必须能够检测可疑假设,并能够为典型信息寻求问题及含可疑假设的问题生成充分的回应。通过人工评分员对基于 (QA) 的端到端问答可接受度评估,我们发现当前模型确实难以处理可疑假设,仍有大量改进空间。
引用
@article{arxiv.2212.10003,
title = {(QA)$^2$: Question Answering with Questionable Assumptions},
author = {Najoung Kim and Phu Mon Htut and Samuel R. Bowman and Jackson Petty},
journal= {arXiv preprint arXiv:2212.10003},
year = {2023}
}
备注
ACL 2023 camera-ready