WIQA：面向过程文本中“如果……会怎样”推理的数据集
计算与语言
2019-09-12 v1 人工智能
摘要
我们介绍了 WIQA，这是首个针对过程文本的大规模“如果……会怎样”问题数据集。WIQA 包含三部分：一组描述某个过程（如海滩侵蚀）的段落；为每段众包得到的影响图集合，描述一个变化如何影响另一个变化；以及从图中派生出的大规模（4 万）“如果……会怎样？”多项选择题。例如，给定一段关于海滩侵蚀的段落，暴风雨天气会导致更多还是更少侵蚀（或无影响）？任务是结合相关段落回答这些问题。WIQA 包含三类问题：对段落中提及步骤的扰动；需要常识知识的外部（段外）扰动；以及不相关（无影响）扰动。我们发现当前最先进模型准确率为 73.8%，远低于人类 96.3% 的表现。我们分析了其中的挑战，尤其是影响链的追踪，并将该数据集作为面向学界的开放挑战。
引用
@article{arxiv.1909.04739,
title = {WIQA: A dataset for "What if..." reasoning over procedural text},
author = {Niket Tandon and Bhavana Dalvi Mishra and Keisuke Sakaguchi and Antoine Bosselut and Peter Clark},
journal= {arXiv preprint arXiv:1909.04739},
year = {2019}
}
备注
Accepted at EMNLP 2019