熟练度至关重要：语法错误校正中的质量估计
计算与语言
2022-01-19 v1
摘要
本研究探讨了语法错误校正（GEC）的有监督质量估计（QE）模型如何受到学习者熟练度及数据的影响。先前工作中用于GEC评估的QE模型已与人工评估获得高度相关性。然而，在真实世界环境中运行时，所报告结果使用的数据存在局限性，因为先前工作偏向于熟练度相对较高的学习者数据。为解决此问题，我们构建了一个包含多个熟练度水平的QE数据集，并探讨了针对GEC的QE进行按熟练度评估的必要性。我们的实验表明，评估数据集熟练度的差异会影响QE模型的性能，且按熟练度评估有助于构建更鲁棒的模型。
引用
@article{arxiv.2201.06199,
title = {Proficiency Matters Quality Estimation in Grammatical Error Correction},
author = {Yujin Takahashi and Masahiro Kaneko and Masato Mita and Mamoru Komachi},
journal= {arXiv preprint arXiv:2201.06199},
year = {2022}
}
备注
6 pages (4 pages + references)