对 CNN/Daily Mail 阅读理解任务的深入检验
计算与语言
2016-08-10 v2 人工智能
摘要
使计算机能够理解文档并回答理解问题是自然语言处理 (NLP) 的一个核心但尚未解决的目标。阻碍机器学习系统解决该问题的一个关键因素是人类标注数据的可用性有限。Hermann 等人 (2015) 试图通过将 CNN 和 Daily Mail 新闻文章与其摘要要点配对，创建超过一百万个训练样本来解决这一问题，并表明随后可以训练神经网络在此任务上取得良好性能。在本文中，我们对这一新的阅读理解任务进行了深入检验。我们的主要目的是了解在此任务上表现良好需要何种深度的语言理解。我们一方面通过对一小部分问题的仔细人工分析来探讨此问题，另一方面通过展示简单且精心设计的系统在这两个数据集上分别可获得 73.6% 和 76.6% 的准确率来探讨此问题，这超过了当前最优 (state-of-the-art) 结果 7-10%，并接近我们认为的该任务性能上限。
关键词
引用
@article{arxiv.1606.02858,
title = {A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task},
author = {Danqi Chen and Jason Bolton and Christopher D. Manning},
journal= {arXiv preprint arXiv:1606.02858},
year = {2016}
}
备注
ACL 2016, updated results