通过多语言微调与回译实现多语言双向无监督翻译
计算与语言
2023-04-05 v4
摘要
我们提出一种两阶段方法，用于训练单一神经机器翻译（NMT）模型以在未见语言与英语之间进行双向翻译。第一阶段，我们将编码器-解码器模型初始化为预训练的 XLM-R 与 RoBERTa 权重，随后在 40 种语言到英语的平行数据上执行多语言微调。我们发现该模型可泛化至未见语言的零样本翻译。第二阶段，我们利用此泛化能力从单语数据集生成合成平行数据，随后通过连续多轮回译进行双向训练。我们将该方法命名为 EcXTra（以英语为中心的跨语言（X）迁移），其在概念上简洁，全程仅使用标准交叉熵目标。它亦是数据驱动的，依次利用辅助平行数据与单语数据。我们评估了 7 种低资源语言的无监督 NMT 结果，发现每一轮回译训练都进一步精炼了双向性能。我们最终单一 EcXTra 训练的模型在所有翻译方向上取得了具竞争力的翻译性能，尤为显著的是为英语到哈萨克语确立了新的最优（state-of-the-art）结果（22.9 > 10.4 BLEU）。我们的代码见于 https://github.com/manestay/EcXTra 。
引用
@article{arxiv.2209.02821,
title = {Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation},
author = {Bryan Li and Mohammad Sadegh Rasooli and Ajay Patel and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2209.02821},
year = {2023}
}
备注
LoResMT @ EACL 2023