ESTER：一个用于事件语义关系推理的机器阅读理解数据集
计算与语言
2021-09-14 v2
摘要
理解事件之间如何语义相关是阅读理解的精髓。近期的以事件为中心的阅读理解数据集主要关注事件论元或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类人的阅读理解需要处理超越论元和时间推理的基于事件的信息。例如，要理解事件间的因果性，我们需要推断动机或目的；要建立事件层级，我们需要理解事件的组成。为促进这些任务，我们引入了 ESTER，一个用于事件语义关系推理的综合机器阅读理解（MRC）数据集。该数据集利用自然语言查询来推理五种最常见的事件语义关系，提供超过 6K 个问题并捕获 10.1K 个事件关系对。实验结果表明，当前 SOTA 系统在基于 token 的精确匹配、F1 和基于事件的 HIT@1 分数上分别达到 22.1%、63.3% 和 83.5%，均显著低于人类表现（分别为 36.0%、79.6%、100%），凸显我们的数据集是一个具有挑战性的基准。
引用
@article{arxiv.2104.08350,
title = {ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning},
author = {Rujun Han and I-Hung Hsu and Jiao Sun and Julia Baylon and Qiang Ning and Dan Roth and Nanyun Peng},
journal= {arXiv preprint arXiv:2104.08350},
year = {2021}
}
备注
This paper has been accepted my EMNLP'21 main conference