基于跨语言词嵌入的多语神经机器翻译无监督迁移学习
计算与语言
2021-03-12 v1
摘要
本工作中,我们研究以无监督方式向多语NMT系统添加新语言。在利用预训练跨语言词嵌入下,我们试图借助语言无关的多语句子表示来轻松泛化至新语言。在使用跨语言嵌入进行词查找时,我们从完全未见的源语言进行解码,此过程称为盲解码。使用包含若干罗曼语的基系统从葡萄牙语盲解码,我们取得葡萄牙语-英语36.4 BLEU和俄语-英语12.8 BLEU的分数。为训练从编码器句子表示到新目标语言的映射,我们将模型用作自编码器。仅训练葡萄牙语翻译至葡萄牙语同时冻结编码器,我们在英语-葡萄牙语上取得26 BLEU,当向输入添加人工噪声时可达28 BLEU。最后我们探索一种更实用的通过非迭代回译的适配方法,利用模型通过盲解码产生高质量翻译的能力。这使我们在英语-葡萄牙语上取得最高34.6 BLEU,接近基于真实双语数据适配的模型水平。
引用
@article{arxiv.2103.06689,
title = {Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings},
author = {Carlos Mullov and Ngoc-Quan Pham and Alexander Waibel},
journal= {arXiv preprint arXiv:2103.06689},
year = {2021}
}