翻译体在机器翻译测试集中的影响
计算与语言
2019-06-20 v1
摘要
翻译体的影响已在机器翻译（MT）领域得到研究，主要集中于训练数据。我们深入研究了翻译体对测试数据的影响，使用了近三届 WMT 新闻共享任务的测试集，包含 17 个翻译方向。我们给出证据表明：（i）测试集中翻译体的使用导致 MT 系统人工评测分数虚高；（ii）某些情况下系统排名确实发生变化；（iii）翻译体对某翻译方向的影响与该方向最先进 MT 系统可达的翻译质量呈负相关。
引用
@article{arxiv.1906.08069,
title = {The Effect of Translationese in Machine Translation Test Sets},
author = {Mike Zhang and Antonio Toral},
journal= {arXiv preprint arXiv:1906.08069},
year = {2019}
}
备注
9 pages, 10 pages appendix, 3 figures, 20 tables, accepted in WMT19