面向多语言无监督神经机器翻译的知识蒸馏方法
计算与语言
2020-04-22 v1
摘要
无监督神经机器翻译（UNMT）近期在多个语言对上取得了显著成果。然而，它只能翻译单一语言对，无法同时产生多个语言对的翻译结果。也就是说，关于多语言 UNMT 的研究十分有限。在本文中，我们通过经验引入了一种简单的方法，使用单个编码器和单个解码器在十三种语言之间进行翻译，并利用多语言数据来改善所有语言对上的 UNMT。基于这些经验发现，我们提出了两种知识蒸馏方法以进一步增强多语言 UNMT 性能。我们在一个包含英语与另外十二种语言（涵盖三个语系和六个语支）互译的数据集上的实验显示了显著的结果，超越了强大的无监督单独基线，同时在零样本翻译场景下非英语语言对之间取得了有前景的性能，并缓解了低资源语言对上的不佳表现。
引用
@article{arxiv.2004.10171,
title = {Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation},
author = {Haipeng Sun and Rui Wang and Kehai Chen and Masao Utiyama and Eiichiro Sumita and Tiejun Zhao},
journal= {arXiv preprint arXiv:2004.10171},
year = {2020}
}
备注
Accepted to ACL 2020