神经机器翻译向新语言的快速适配
计算与语言
2018-08-14 v1
摘要
本文研究如何以最有效且快速的方式将神经机器翻译系统适配到新的低资源语言（LRLs）。我们提出的方法基于从大规模多语言“种子模型”开始，这些模型可提前训练，然后在与该LRL相关的数据上继续训练。我们对比了多种策略，进而提出一种新颖、简单却有效的“相似语言正则化”方法，即同时在该LRL及其相似的高资源语言上联合训练，以防止对少量LRL数据的过拟合。实验表明，大规模多语言模型即使无任何显式适配也出奇有效，在完全无LRL数据时可获得高达15.5的BLEU分数；所提相似语言正则化方法在4种LRL设定上平均比其他适配方法高出1.7个BLEU点。复现实验的代码见 https://github.com/neubig/rapid-adaptation
引用
@article{arxiv.1808.04189,
title = {Rapid Adaptation of Neural Machine Translation to New Languages},
author = {Graham Neubig and Junjie Hu},
journal= {arXiv preprint arXiv:1808.04189},
year = {2018}
}
备注
EMNLP 2018