基于枢轴语言的迁移学习用于非英语语言间的神经机器翻译
计算与语言
2019-09-23 v1 机器学习
摘要
我们提出了利用涉及枢轴语言（即源-枢轴和枢轴-目标）的平行语料库进行神经机器翻译的有效预训练策略，从而显著改善源-目标翻译。我们提出了三种方法来增强预训练中源语言、枢轴语言和目标语言之间的关联：1) 针对不同语言对逐步训练单一模型，2) 增加额外的适配器组件以平滑连接预训练的编码器和解码器，以及 3) 通过枢轴语言的自编码进行跨语言编码器训练。我们的方法在 WMT 2019 法语-德语和德语-捷克语任务中大幅优于多语言模型，BLEU 值提升高达 +2.6%。我们证明这些改进在零样本/零资源场景下同样有效。
引用
@article{arxiv.1909.09524,
title = {Pivot-based Transfer Learning for Neural Machine Translation between Non-English Languages},
author = {Yunsu Kim and Petre Petrov and Pavel Petrushkov and Shahram Khadivi and Hermann Ney},
journal= {arXiv preprint arXiv:1909.09524},
year = {2019}
}
备注
EMNLP 2019 camera-ready