利用语言无关约束改进零样本翻译
计算与语言
2019-06-21 v1
摘要
训练多语言神经机器翻译(NMT)时的一个重要关注点是翻译训练期间未见过的语言对，即零样本翻译。改进这一能力可以一石二鸟，既提供了枢轴翻译的替代方案，又让我们更好地理解模型如何在语言间捕获信息。在这项工作中，我们对多语言NMT模型的这一能力进行了研究。首先，我们有意创建了一个相对于源语言独立的编码器架构。此类实验揭示了一般而言NMT编码器学习多语言表示的能力。基于这一概念验证，我们能够将正则化方法设计进标准Transformer模型中，使整个架构在零样本条件下更加鲁棒。我们在标准IWSLT 2017多语言数据集上研究了此类模型的行为。与最先进多语言系统的零样本性能相比，我们在12个语言对上实现了平均2.23个BLEU点的提升。此外，我们进行了进一步实验，其中即便对于具有多个中间枢轴的语言对，该效果也得到了证实。
引用
@article{arxiv.1906.08584,
title = {Improving Zero-shot Translation with Language-Independent Constraints},
author = {Ngoc-Quan Pham and Jan Niehues and Thanh-Le Ha and Alex Waibel},
journal= {arXiv preprint arXiv:1906.08584},
year = {2019}
}
备注
10 pages version accepted in WMT 2019