面向神经机器翻译的低资源相关语言间迁移学习
计算与语言
2017-09-22 v2
摘要
我们提出一种简单方法，利用来自一个相关的、同样低资源的语言对的平行数据，来改进低资源语言对的神经翻译。该方法基于 Zoph 等人的迁移方法，但他们的方法忽略了源语言词汇的重叠，而我们的方法则对此加以利用。首先，我们使用字节对编码 (BPE) 来拆分单词，以增加词汇重叠。然后，我们在第一个语言对上训练一个模型，并将其参数（包括其源语言词嵌入）迁移到另一个模型，并在第二个语言对上继续训练。我们的实验表明，迁移学习对基于词的翻译仅有轻微帮助，但当其应用于一个强得多的 BPE 基线之上时，可带来高达 4.3 BLEU 的更大改进。
引用
@article{arxiv.1708.09803,
title = {Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation},
author = {Toan Q. Nguyen and David Chiang},
journal= {arXiv preprint arXiv:1708.09803},
year = {2017}
}