语法错误纠正模型的跨语料库评估与分析——单一语料库评估是否足够?
计算与语言
2019-04-08 v1
摘要
本研究探讨了语法错误纠正(GEC)模型进行跨语料库评估的必要性。此前 GEC 模型基于单一常用语料库进行评估:CoNLL-2014 基准。然而,由于任务难度随测试语料库及写作者熟练度、作文主题等条件而变化,该评估仍不完整。为克服此局限,我们针对多个学习者语料库(CoNLL-2013、CoNLL-2014、FCE、JFLEG、ICNALE 与 KJ)评估若干 GEC 模型(包括基于 NMT 的(LSTM、CNN 与 transformer)及一个基于 SMT 的模型)的性能。评估结果显示,模型排名随语料库差异显著,表明单一语料库评估对 GEC 模型而言并不充分。
引用
@article{arxiv.1904.02927,
title = {Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models --- Is Single-Corpus Evaluation Enough?},
author = {Masato Mita and Tomoya Mizumoto and Masahiro Kaneko and Ryo Nagata and Kentaro Inui},
journal= {arXiv preprint arXiv:1904.02927},
year = {2019}
}
备注
accepted by NAACL-HLT 2019