通过编辑级别归因提高语法错误纠正句子级指标的可解释性
计算与语言
2024-12-18 v1
摘要
针对语法错误纠正（Grammatical Error Correction, GEC）已有多种评估指标被提出，但其中许多指标，尤其是无参考指标，缺乏可解释性。这种可解释性的缺乏阻碍了研究人员分析 GEC 模型的优缺点，并限制了其为用户提供详细反馈的能力。为了解决这个问题，我们提出将句子级分数归因到各个编辑上，从而深入了解特定纠正如何影响整体性能。在归因方法上，我们使用合作博弈论中的 Shapley 值来计算每次编辑的贡献。使用现有句子级指标的实验表明，在不同编辑粒度上具有高度一致性，并且与人工评估的一致性约为 70%。此外，我们基于归因结果分析了指标中的偏差，揭示了诸如忽略拼写编辑等趋势。我们的实现可在 \url{https://github.com/naist-nlp/gec-attribute} 获取。
引用
@article{arxiv.2412.13110,
title = {Improving Explainability of Sentence-level Metrics via Edit-level Attribution for Grammatical Error Correction},
author = {Takumi Goto and Justin Vasselli and Taro Watanabe},
journal= {arXiv preprint arXiv:2412.13110},
year = {2024}
}