语法错误纠正的自动度量验证
计算与语言
2018-05-08 v2
摘要
语法错误纠正(Grammatical Error Correction, GEC)中的度量验证目前是通过观察人工排序与度量生成的排序之间的相关性来完成的。然而，此类相关性研究成本高昂、方法上存在困难，且评分者间一致性较低。我们提出了 MAEGE，一种用于 GEC 度量验证的自动化方法，克服了现有实践中的诸多困难。使用 MAEGE 进行的实验为度量质量提供了新的见解，例如表明标准的 度量在语料库级别的排序上表现不佳。此外，我们使用 MAEGE 对度量行为进行了详细分析，表明纠正某些类型的错误会受到现有度量的一致惩罚。
引用
@article{arxiv.1804.11225,
title = {Automatic Metric Validation for Grammatical Error Correction},
author = {Leshem Choshen and Omri Abend},
journal= {arXiv preprint arXiv:1804.11225},
year = {2018}
}
备注
Accepted to ACL2018