由教师构建的大规模完形填空测试数据集
计算与语言
2018-08-29 v3 人工智能
摘要
完形填空测试被广泛用于语言考试以评估学生的语言能力。本文提出首个大规模人工构建的完形填空数据集 CLOTH，包含中学与高中语言考试中所用的题目。由于缺失空由教师精心设置、候选选项特意设计得细微难辨，CLOTH 比以往自动生成的完形填空数据集要求更深的语言理解与更宽的注意跨度。我们测试了专门设计的基线模型性能，包括一个在 One Billion Word Corpus 上训练的语言模型，并显示人类以显著优势超越它们。我们探究了性能差距的来源，将模型缺陷追溯至 CLOTH 的一些独特属性，并认定理解长期上下文的能力有限为关键瓶颈。
引用
@article{arxiv.1711.03225,
title = {Large-scale Cloze Test Dataset Created by Teachers},
author = {Qizhe Xie and Guokun Lai and Zihang Dai and Eduard Hovy},
journal= {arXiv preprint arXiv:1711.03225},
year = {2018}
}
备注
EMNLP 2018