基于测试集的德英机器翻译细粒度评估
计算与语言
2019-10-17 v1
摘要
我们基于一套语言学驱动的测试集，对 16 个最先进的德语-英语机器翻译系统进行了分析。该测试集由语言专业团队手动设计，旨在涵盖机器翻译经常无法正确翻译的广泛语言现象。它包含 5,000 个测试句，覆盖 14 个类别中的 106 种语言现象，并更加关注动词时态、体和语气。机器翻译输出通过正则表达式以半自动方式进行评估，这些正则表达式仅关注与每种现象相关的句子部分。通过我们的分析，我们能够根据系统在这些类别上的性能进行比较。此外，我们揭示了特定系统的优势与劣势，并识别出机器翻译整体性能相对较低的语法现象。
引用
@article{arxiv.1910.07460,
title = {Fine-grained evaluation of German-English Machine Translation based on a Test Suite},
author = {Vivien Macketanz and Eleftherios Avramidis and Aljoscha Burchardt and Hans Uszkoreit},
journal= {arXiv preprint arXiv:1910.07460},
year = {2019}
}