机器阅读理解综述：任务、评价指标与基准数据集
计算与语言
2020-10-22 v2 人工智能
机器学习
摘要
机器阅读理解（MRC）是一个具有广泛现实应用的自然语言处理（NLP）挑战性研究领域。近年来该领域的巨大进展主要得益于大规模数据集与深度学习的出现。目前，尽管现有 MRC 模型与真正人类水平的阅读理解之间存在明显巨大差距，已有大量 MRC 模型在各种基准数据集上超越人类表现。这表明需要改进现有数据集、评价指标与模型，以推动当前 MRC 模型走向“真实”理解。针对当前缺乏对现有 MRC 任务、评价指标与数据集的全面综述，本文中：（1）我们分析了 57 个 MRC 任务与数据集，并提出一种基于 4 种不同属性的更精确 MRC 任务分类方法；（2）我们总结了 9 种 MRC 任务评价指标、7 种属性与 10 种 MRC 数据集特征；（3）我们还讨论了 MRC 研究中的关键开放问题并强调了未来研究方向。此外，我们已收集、整理并发布了相关数据于伴随网站（https://mrc-datasets.github.io/），MRC 研究者可直接访问各 MRC 数据集、论文、基线项目与排行榜。
引用
@article{arxiv.2006.11880,
title = {A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets},
author = {Changchang Zeng and Shaobo Li and Qin Li and Jie Hu and Jianjun Hu},
journal= {arXiv preprint arXiv:2006.11880},
year = {2020}
}
备注
68 pages