基于最优输送编辑表示的语法错误修正评估
计算与语言
2026-02-06 v1
摘要
自动评估语法错误修正（GEC）对于选择表现最佳的系统至关重要。当前流行的参考基准方法基本上衡量假设与参考句子之间的相似度。然而，基于嵌入的相似度度量（如 BERTScore）常常不够有效，因为源句子中的许多词在假设和参考中保持不变。本研究专注于为 GEC 设计的编辑，即 ERRANT，计算在源句子上的编辑相似度。为此，我们提出了编辑向量（edit vector）作为编辑的表示，并引入了新的指标 UOT-ERRANT，该指标通过非平衡最优输送将这些编辑向量从假设输送到参考。使用 SEEDA 元评估实验表明，UOT-ERRANT 在 +Fluency 领域的评估性能得到提高，尤其是在该领域发生大量编辑的地方。此外，我们的方法高度可解释，因为输送计划可被解释为软编辑对齐，使得 UOT-ERRANT 对于系统排名和分析 GEC 系统都非常有用。我们的代码已公开提供：https://github.com/gotutiyan/uot-errant。
引用
@article{arxiv.2602.05419,
title = {Grammatical Error Correction Evaluation by Optimally Transporting Edit Representation},
author = {Takumi Goto and Yusuke Sakai and Taro Watanabe},
journal= {arXiv preprint arXiv:2602.05419},
year = {2026}
}
备注
Accepted to TACL. This is a pre-MIT Press publication version