UM4：面向零资源神经机器翻译的统一多语言多师生模型
计算与语言
2022-08-25 v2 人工智能
机器学习
摘要
语言间的大多数翻译任务属于并行语料不可用的零资源翻译问题。多语言神经机器翻译（MNMT）利用所有语言的共享语义空间实现一次性翻译，相较于两阶段枢轴翻译，但常表现不如基于枢轴的方法。本文提出一种新方法，称为统一多语言多师生模型用于NMT（UM4）。我们的方法统一源教师、目标教师和枢轴教师模型来指导零资源翻译的学生模型。源教师和目标教师通过源端和目标端的蒸馏知识迫使学生学习直接的源到目标翻译。单语语料进一步由枢轴教师模型利用以增强学生模型。实验结果表明，我们在WMT基准上72个方向的模型显著优于先前方法。
引用
@article{arxiv.2207.04900,
title = {UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation},
author = {Jian Yang and Yuwei Yin and Shuming Ma and Dongdong Zhang and Shuangzhi Wu and Hongcheng Guo and Zhoujun Li and Furu Wei},
journal= {arXiv preprint arXiv:2207.04900},
year = {2022}
}
备注
7 pages, 5 figures, IJCAI-ECAI 2022