无共享词汇的神经机器翻译模型的有效跨语言迁移
计算与语言
2019-06-06 v2 机器学习
摘要
迁移学习或多语言模型对于低资源神经机器翻译（NMT）至关重要，但其适用性因共享词汇而局限于同源语言。本文展示了将预训练 NMT 模型迁移到新的、无关联且无共享词汇的语言的有效技术。我们通过使用跨语言词嵌入缓解词汇不匹配，通过注入人工噪声训练更具语言无关性的编码器，并无需回译地从预训练数据轻松生成合成数据。我们的方法无需重构词汇表或重新训练模型。在五个低资源翻译任务中，我们将普通 NMT 迁移提升了最高 +5.1% BLEU，大幅优于多语言联合训练。我们还提供了关于预训练嵌入、合成数据、词汇量和参数冻结的广泛消融研究，以更好地理解 NMT 迁移。
引用
@article{arxiv.1905.05475,
title = {Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies},
author = {Yunsu Kim and Yingbo Gao and Hermann Ney},
journal= {arXiv preprint arXiv:1905.05475},
year = {2019}
}
备注
ACL 2019 camera-ready