重新思考零样本神经机器翻译：基于潜变量的视角
计算与语言
2021-09-13 v1
摘要
零样本翻译，即直接在训练中未见的语言对之间进行翻译，是多语言神经机器翻译（NMT）的一项极具前景的能力。然而，由于最大似然训练目标，它通常难以捕捉输出语言与语言不变语义之间的虚假相关性，导致零样本翻译的迁移性能较差。在本文中，我们将基于枢纽语言的去噪自编码器目标引入传统训练目标中，以提高零样本方向上的翻译准确性。从潜变量的角度进行的理论分析表明，我们的方法实际上隐式地最大化了零样本方向的概率分布。在两个基准机器翻译数据集上，我们证明了所提出的方法能够有效消除虚假相关性，并以显著的性能大幅优于 SOTA 方法。我们的代码可在 https://github.com/Victorwz/zs-nmt-dae 获取。
引用
@article{arxiv.2109.04705,
title = {Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables},
author = {Weizhi Wang and Zhirui Zhang and Yichao Du and Boxing Chen and Jun Xie and Weihua Luo},
journal= {arXiv preprint arXiv:2109.04705},
year = {2021}
}
备注
EMNLP Findings 2021