SAO WMT19 测试集：审计报告机器翻译
计算与语言
2019-09-05 v1
摘要
本文描述了一个来自审计领域的机器翻译测试文档集，及其作为 WMT19 新闻翻译任务中涉及捷克语、英语和德语翻译方向的“测试集”之一的用途。我们的评估表明，针对通用新闻领域优化的当前 MT（机器翻译）系统即使在审计报告这一特定领域也能表现相当好。然而，详细的人工评估指出，对该领域的深层事实知识是必要的。对于非专家的肉眼而言，许多系统的翻译看似几乎完美，而基于单一参考的自动 MT 评估在考量这些细节时几乎毫无用处。此外，我们在协议领域的一份样本文档上表明，即便是最优系统也完全无法保留协议的语义，即协议各方的身份。
引用
@article{arxiv.1909.01701,
title = {SAO WMT19 Test Suite: Machine Translation of Audit Reports},
author = {Tereza Vojtěchová and Michal Novák and Miloš Klouček and Ondřej Bojar},
journal= {arXiv preprint arXiv:1909.01701},
year = {2019}
}
备注
WMT19 (http://www.statmt.org/wmt19/)