面向最先进机器翻译的细粒度语言评估
计算与语言
2020-10-16 v2
摘要
本文描述了一个测试套件提交，为第五届机器翻译会议(WMT20)最先进的德英系统提供语言性能的详细统计。该分析涵盖基于约 5,500 个测试项、组织为 14 类的 107 种语言现象，包括 45 人小时的手动标注工作。两个系统(Tohoku 和 Huoshan)的测试套件准确率明显优于其他系统，尽管 WMT20 最佳系统在宏平均上并不显著优于 WMT19 的系统。此外，我们识别出所有系统均表现不佳的若干语言现象(如习语、结果谓词与过去完成时)，但也能够识别各别系统的特定弱点(如引号、词汇歧义与截省)。今年提交新版本的 WMT19 大多数系统均显示出改进。
引用
@article{arxiv.2010.06359,
title = {Fine-grained linguistic evaluation for state-of-the-art Machine Translation},
author = {Eleftherios Avramidis and Vivien Macketanz and Ursula Strohriegel and Aljoscha Burchardt and Sebastian Möller},
journal= {arXiv preprint arXiv:2010.06359},
year = {2020}
}
备注
11 pages, 1 figure, Fifth Conference of Machine Translation, WMT20