Vega-MT:京东探索研究院面向 WMT22 的翻译系统
摘要
我们描述了京东探索研究院提交的 WMT 2022 通用翻译共享任务。我们参与了所有高资源赛道以及一个中等资源赛道,包括中-英、德-英、捷-英、俄-英和日-英。我们将先前工作——双向翻译训练的极限向前推进,通过扩展两个主要因素,即语言对数量和模型规模,亦即 \textbf{Vega-MT} 系统。在语言对方面,我们将“双向”扩展至覆盖所有参与语言的“多向”设置,以利用跨语言的共同知识,并将其迁移到下游双语任务。在模型规模方面,我们将 Transformer-Big 扩展至拥有近 47 亿参数的极大模型,以充分增强 Vega-MT 的模型容量。此外,我们采用数据增强策略,例如针对单语数据的循环翻译,以及针对双语和单语数据的双向自训练,以全面利用双语与单语数据。为使 Vega-MT 适应通用领域测试集,设计了泛化微调。基于受限系统的官方自动评分,就图 1 所示的 sacreBLEU 而言,我们在 {中-英 (33.5)、英-中 (49.7)、德-英 (33.7)、英-德 (37.8)、捷-英 (54.9)、英-捷 (41.4) 和英-俄 (32.7)} 上获得第 1 名,在 {俄-英 (45.1) 和日-英 (25.6)} 上获得第 2 名,在 {英-日 (41.5)} 上获得第 3 名;就 COMET 而言,我们在 {中-英 (45.1)、英-中 (61.7)、德-英 (58.0)、英-德 (63.2)、捷-英 (74.7)、俄-英 (64.9)、英-俄 (69.6) 和英-日 (65.1)} 上获得第 1 名,在 {英-捷 (95.3) 和日-英 (40.6)} 上获得第 2 名。
引用
@article{arxiv.2209.09444,
title = {Vega-MT: The JD Explore Academy Translation System for WMT22},
author = {Changtong Zan and Keqin Peng and Liang Ding and Baopu Qiu and Boan Liu and Shwai He and Qingyu Lu and Zheng Zhang and Chuang Liu and Weifeng Liu and Yibing Zhan and Dacheng Tao},
journal= {arXiv preprint arXiv:2209.09444},
year = {2023}
}
备注
WMT 2022 (Among all constrained systems, Vega-MT won 7 champions, 2 runners-up and 1 third place w.r.t sacreBLEU, and won 8 champions and 2 runners-up w.r.t COMET.)