SQuAD:面向文本机器阅读理解的 100,000+ 问题
计算与语言
2016-10-12 v3
摘要
我们提出了 Stanford Question Answering Dataset (SQuAD),这是一个新的阅读理解数据集,包含由众包工作者基于一组 Wikipedia 文章提出的 100,000+ 个问题,其中每个问题的答案均是对应阅读段落中的一段文本。我们对该数据集进行了分析,以理解回答这些问题所需的推理类型,在此过程中大量依赖了依存树和成分树。我们构建了一个强大的逻辑回归模型,其 F1 分数达到 51.0%,相较于简单的基线 (20%) 有显著提升。然而,人类的表现 (86.8%) 要高得多,表明该数据集为未来的研究提出了一个很好的挑战性问题。该数据集可在 https://stanford-qa.com 免费获取。
引用
@article{arxiv.1606.05250,
title = {SQuAD: 100,000+ Questions for Machine Comprehension of Text},
author = {Pranav Rajpurkar and Jian Zhang and Konstantin Lopyrev and Percy Liang},
journal= {arXiv preprint arXiv:1606.05250},
year = {2016}
}
备注
To appear in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP)