NewsQA：一个机器阅读理解数据集
计算与语言
2017-02-08 v3 人工智能
摘要
我们提出了 NewsQA，一个包含超过 100,000 个人类生成的问答对的具有挑战性的机器阅读理解数据集。众包工作者基于 CNN 的超过 10,000 篇新闻文章提供问题和答案，答案由对应文章中的文本片段组成。我们通过一个四阶段流程收集该数据集，旨在引发需要推理的探索性问题。详尽的分析证实，NewsQA 要求超越简单词匹配和文本蕴含识别的能力。我们测量了人类在该数据集上的表现，并将其与几个强大的神经模型进行比较。人类与机器之间的性能差距（F1 为 0.198）表明，通过未来的研究可以在 NewsQA 上取得显著进展。该数据集可在 https://datasets.maluuba.com/NewsQA 免费获取。
引用
@article{arxiv.1611.09830,
title = {NewsQA: A Machine Comprehension Dataset},
author = {Adam Trischler and Tong Wang and Xingdi Yuan and Justin Harris and Alessandro Sordoni and Philip Bachman and Kaheer Suleman},
journal= {arXiv preprint arXiv:1611.09830},
year = {2017}
}