TORQUE：一个关于时间顺序问题的阅读理解数据集
计算与语言
2020-10-07 v2
摘要
阅读的一个关键部分是能够理解文本段落中描述的事件之间的时间关系，即使这些关系未被明确陈述。然而，当前的机器阅读理解基准中几乎没有问题测试时间现象，因此在这些基准上训练的系统没有能力回答诸如“在[某事件]之前/之后发生了什么？”的问题。我们引入了 TORQUE，一个基于 3.2k 条新闻片段、包含 21k 个人工生成的时间关系查询问题的新型英语阅读理解基准。结果表明，RoBERTa-large 在 TORQUE 测试集上取得了 51% 的精确匹配分数，比人类表现落后约 30%。
引用
@article{arxiv.2005.00242,
title = {TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions},
author = {Qiang Ning and Hao Wu and Rujun Han and Nanyun Peng and Matt Gardner and Dan Roth},
journal= {arXiv preprint arXiv:2005.00242},
year = {2020}
}
备注
15 pages (incl. 4 pages in the appendix); accepted to EMNLP 2020