Facebook AI 在 WMT21 新闻翻译任务中的提交系统
计算与语言
2021-08-10 v1
摘要
我们描述了 Facebook 提交至 WMT2021 新闻翻译共享任务的多语言模型。我们参与了 14 个语言方向:英语与捷克语、德语、豪萨语、冰岛语、日语、俄语和中文之间的互译。为开发覆盖所有这些方向的系统,我们聚焦于多语言模型。我们利用所有可用来源的数据——WMT、大规模数据挖掘以及领域内回译——来创建高质量的双语与多语言基线。随后,我们研究了扩展多语言模型规模的策略,使得单一系统具备足够容量以对所有八种语言进行高质量表示。我们最终的提交系统是一个由稠密与稀疏混合专家多语言翻译模型组成的集成,继而在领域内新闻数据上微调并采用噪声信道重排序。与上一年度的获奖提交相比,我们的多语言系统在所有语言方向上的翻译质量均有提升,平均提升 2.0 BLEU。在 WMT2021 任务中,我们的系统基于自动评测在 10 个方向上排名第一。
引用
@article{arxiv.2108.03265,
title = {Facebook AI WMT21 News Translation Task Submission},
author = {Chau Tran and Shruti Bhosale and James Cross and Philipp Koehn and Sergey Edunov and Angela Fan},
journal= {arXiv preprint arXiv:2108.03265},
year = {2021}
}