语法错误纠正无参考指标的可靠性危机
计算与语言
2025-10-01 v1
摘要
语法错误纠正（GEC）的无参考评估指标已实现与人类判断的高度相关性。然而，这些指标并非为评估旨在获取不合理高分的对抗性系统而设计。此类系统的存在破坏了自动评估的可靠性，因为它可能误导用户选择合适的 GEC 系统。在本研究中，我们针对四种无参考指标提出了对抗攻击策略：SOME、Scribendi、IMPARA 以及基于 LLM 的指标，并证明我们的对抗系统优于当前 SOTA。这些发现凸显了对更稳健评估方法的需求。
引用
@article{arxiv.2509.25961,
title = {Reliability Crisis of Reference-free Metrics for Grammatical Error Correction},
author = {Takumi Goto and Yusuke Sakai and Taro Watanabe},
journal= {arXiv preprint arXiv:2509.25961},
year = {2025}
}
备注
EMNLP 2025 Findings