RACE：基于考试的大规模阅读理解数据集
计算与语言
2017-12-07 v5 人工智能
机器学习
摘要
我们提出 RACE，一个用于阅读理解任务中方法基准评估的新数据集。RACE 收集自 12 至 18 岁中国初高中学生的英语考试，包含近 28,000 篇段落和近 100,000 道由人类专家（英语教师）生成的问题，并涵盖精心设计的多种主题，用于评估学生的理解和推理能力。特别是，RACE 中需要推理的问题比例远大于其他阅读理解基准数据集，且最先进模型（43%）的性能与人类上限性能（95%）之间存在显著差距。我们希望这个新数据集可作为机器理解研究和评估的宝贵资源。该数据集免费提供于 http://www.cs.cmu.edu/~glai1/data/race/，代码见于 https://github.com/qizhex/RACE_AR_baselines。
引用
@article{arxiv.1704.04683,
title = {RACE: Large-scale ReAding Comprehension Dataset From Examinations},
author = {Guokun Lai and Qizhe Xie and Hanxiao Liu and Yiming Yang and Eduard Hovy},
journal= {arXiv preprint arXiv:1704.04683},
year = {2017}
}
备注
EMNLP 2017