ERNIE-M：通过对齐跨语言语义与单语语料增强多语言表示
计算与语言
2021-09-20 v4
摘要
最近的研究表明，预训练的跨语言模型在下游跨语言任务中取得了令人印象深刻的性能。这一提升得益于对大量单语和平行语料的学习。尽管人们普遍承认平行语料对于提升模型性能至关重要，现有方法常常受限于平行语料的规模，尤其是对于低资源语言。在本文中，我们提出 ERNIE-M，一种鼓励模型利用单语语料对齐多种语言表示的新训练方法，以克服平行语料规模对模型性能的限制。我们的核心见解是将回译集成到预训练过程中。我们在单语语料上生成伪平行句对，以使模型学习不同语言之间的语义对齐，从而增强跨语言模型的语义建模。实验结果表明，ERNIE-M 优于现有跨语言模型，并在多种跨语言下游任务中取得了新的 SOTA 结果。
引用
@article{arxiv.2012.15674,
title = {ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora},
author = {Xuan Ouyang and Shuohuan Wang and Chao Pang and Yu Sun and Hao Tian and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:2012.15674},
year = {2021}
}
备注
Accepted by EMNLP 2021 (main conference, long paper)