CLEME2.0：面向可解释性评估的分解编辑方法用于语法纠错
计算与语言
2025-05-30 v2
摘要
本文聚焦于语法纠错（GEC）评估指标的可解释性问题，此问题在以往研究中受到了很少的关注。为弥合这一差距，我们介绍了 **CLEME2.0**，这是一种基于参考文本的评估指标，描述了语法纠错系统的四个基本方面：命中纠错、错误纠错、不足纠错和过度纠错。这四个方面共同揭示了语法纠错系统的关键质量特征，并帮助定位其缺陷。通过组合这些方面来评估系统，也比其他基于参考文本和无参考文本指标实现了更优的的人类一致性。大量实验在两个人类判断数据集和六个参考数据集上表明，我们方法的有效性和鲁棒性，取得了新的状态突破。我们的代码已发布于 https://github.com/THUKElab/CLEME。
关键词
引用
@article{arxiv.2407.00934,
title = {CLEME2.0: Towards Interpretable Evaluation by Disentangling Edits for Grammatical Error Correction},
author = {Jingheng Ye and Zishan Xu and Yinghui Li and Linlin Song and Qingyu Zhou and Hai-Tao Zheng and Ying Shen and Wenhao Jiang and Hong-Gee Kim and Ruitong Liu and Xin Su and Zifei Shan},
journal= {arXiv preprint arXiv:2407.00934},
year = {2025}
}
备注
19 pages, 12 tables, 3 figures. Accepted to ACL 2025 Main