基于语言学驱动测试集的机器翻译质量估计细粒度评估
计算与语言
2019-10-17 v1
摘要
我们提出了一种评估质量估计系统的替代方法，该方法基于一个语言学驱动的测试集。我们创建了一个包含 14 种语言错误类别的测试集，并为每个类别收集了一组包含正确和错误翻译的样本。然后，我们通过检查 5 个质量估计系统区分正确和错误翻译的能力来衡量它们的性能。详细的评估结果更能揭示每个系统的能力。不同质量估计系统在不同语言现象上表现各异，这一事实证实了该测试集的有效性。
引用
@article{arxiv.1910.07468,
title = {Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite},
author = {Avramidis Eleftherios and Vivien Macketanz and Arle Lommel and Hans Uszkoreit},
journal= {arXiv preprint arXiv:1910.07468},
year = {2019}
}