面向极低资源神经机器翻译的持续混合语言预训练
计算与语言
2021-05-11 v1 人工智能
摘要
低资源语言中的数据稀缺已成为构建鲁棒神经机器翻译系统的瓶颈。在多语言预训练模型（如 mBART (Liu et al., 2020)）上微调翻译任务对低资源语言是一种良好方法；然而，当翻译对中存在未见语言时，其性能将受到极大限制。本文提出一种在 mBART 上的持续预训练（CPT）框架，以有效将其适配到未见语言。我们首先从翻译对中目标语言的单语语料构造含噪混合语言文本以覆盖源语言与目标语言，然后继续预训练 mBART 以重建原始单语文本。结果表明，我们的方法能持续地在 mBART 基线及其他强基线上提升所有被测含未见语言的低资源翻译对的微调性能。此外，我们的方法也提升了在原 mBART 预训练中两种语言均见过的翻译对的性能。代码见 https://github.com/zliucr/cpt-nmt。
引用
@article{arxiv.2105.03953,
title = {Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation},
author = {Zihan Liu and Genta Indra Winata and Pascale Fung},
journal= {arXiv preprint arXiv:2105.03953},
year = {2021}
}
备注
Accepted in Findings of ACL 2021