面向低资源神经机器翻译的迁移学习
计算与语言
2016-04-11 v1
摘要
神经机器翻译（NMT）的编码器-解码器框架已在大数据场景下被证明有效，但对于低资源语言效果差得多。我们提出一种迁移学习方法，在一系列低资源语言上显著提升了Bleu分数。我们的核心思想是首先训练高资源语言对（父模型），然后转移部分学到的参数到低资源对（子模型）以初始化和约束训练。使用我们的迁移学习方法，我们在四个低资源语言对上将基线NMT模型平均提高了5.6 Bleu。集成和未知词替换额外增加了2个Bleu，使低资源机器翻译的NMT性能接近强大的基于句法的机器翻译（SBMT）系统，并在一个语言对上超越其性能。此外，使用迁移学习模型进行重打分，我们可以将SBMT系统平均提高1.3 Bleu，改进了低资源机器翻译的最优性能。
引用
@article{arxiv.1604.02201,
title = {Transfer Learning for Low-Resource Neural Machine Translation},
author = {Barret Zoph and Deniz Yuret and Jonathan May and Kevin Knight},
journal= {arXiv preprint arXiv:1604.02201},
year = {2016}
}
备注
8 pages