面向神经机器翻译的多语言去噪预训练
计算与语言
2020-01-24 v2
摘要
本文表明多语言去噪预训练在广泛各类机器翻译（MT）任务上带来显著性能增益。我们提出 mBART——一种利用 BART 目标在多语言大规模单语语料上预训练的自回归序列到序列去噪自编码器。mBART 是首批通过多语言全文去噪预训练完整序列到序列模型的方法之一，而先前方法仅关注编码器、解码器或重建文本局部。预训练完整模型使其可直接微调用于有监督（句级与文档级）与无监督机器翻译，无需任务特定改动。我们展示添加 mBART 初始化在所有非最高资源设定中均产生性能增益，包括低资源 MT 上至多 12 BLEU 点以及许多文档级与无监督模型上超 5 BLEU 点。我们还显示其支持向无双语文本或不在预训练语料中的语言对的新类型迁移，并给出关于哪些因素最有助于有效预训练的广泛分析。
引用
@article{arxiv.2001.08210,
title = {Multilingual Denoising Pre-training for Neural Machine Translation},
author = {Yinhan Liu and Jiatao Gu and Naman Goyal and Xian Li and Sergey Edunov and Marjan Ghazvininejad and Mike Lewis and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2001.08210},
year = {2020}
}
备注
Work in progress