基于质量估计的语法纠错系统组合方法
计算与语言
2023-10-24 v1
摘要
质量估计模型已被开发用于在参考或金标准纠错不可用时评估语法纠错（GEC）模型所做的修正。理想的质量估计器可用于组合多个GEC系统的输出，即从所有GEC基础系统提出的编辑并集里选择最佳编辑子集。然而，我们发现现有的GEC质量估计模型在区分好修正与坏修正方面不够好，导致用于系统组合时F0.5分数较低。在本文中，我们提出GRECO，一种全新的最先进（SOTA）质量估计模型，它能更好地估计修正句子的质量，表现为与修正句子F0.5分数的相关性更高。由此得到的组合GEC系统具有更高的F0.5分数。我们还提出了三种利用GEC质量估计模型进行系统组合的方法，其通用性各不相同：模型无关方法、带投票偏置的模型无关方法，以及模型相关方法。该组合GEC系统在CoNLL-2014测试集和BEA-2019测试集上优于当前最先进水平，取得了迄今发表的最高F0.5分数。
引用
@article{arxiv.2310.14947,
title = {System Combination via Quality Estimation for Grammatical Error Correction},
author = {Muhammad Reza Qorib and Hwee Tou Ng},
journal= {arXiv preprint arXiv:2310.14947},
year = {2023}
}
备注
EMNLP 2023