面向极低资源语言的通用神经机器翻译
计算与语言
2018-04-18 v2
摘要
本文提出一种面向平行数据有限的语言的新型通用机器翻译方法。我们提出的方法利用迁移学习，将多个源语言的词汇与句子级表示共享至一个目标语言。词汇部分通过通用词汇表示（Universal Lexical Representation）共享，以支持多语言词级共享。句子级共享由来自所有源语言的专家模型表示，这些专家模型与所有其他语言共享源编码器。这使得低资源语言能够利用高资源语言的词汇与句子表示。我们的方法在使用 6k 句子的微小平行语料时，能在罗马尼亚语-英语 WMT2016 上达到 23 BLEU，而使用多语言训练与回译的强基线系统为 18 BLEU。此外，我们表明所提方法通过在零样本设定下微调预训练的多语言系统，能在同一数据集上达到近 20 BLEU。
引用
@article{arxiv.1802.05368,
title = {Universal Neural Machine Translation for Extremely Low Resource Languages},
author = {Jiatao Gu and Hany Hassan and Jacob Devlin and Victor O. K. Li},
journal= {arXiv preprint arXiv:1802.05368},
year = {2018}
}
备注
NAACL-HLT 2018