XLM-E：基于 ELECTRA 的跨语言语言模型预训练
计算与语言
2022-04-20 v2
摘要
本文中，我们将 ELECTRA 风格的任务引入跨语言语言模型预训练。具体而言，我们提出两个预训练任务，即多语言替换词元检测与翻译替换词元检测。此外，我们在多语言语料库与平行语料库上预训练了名为 XLM-E 的模型。我们的模型以低得多的计算成本在各种跨语言理解任务上优于基线模型。此外，分析表明 XLM-E 倾向于获得更好的跨语言可迁移性。
引用
@article{arxiv.2106.16138,
title = {XLM-E: Cross-lingual Language Model Pre-training via ELECTRA},
author = {Zewen Chi and Shaohan Huang and Li Dong and Shuming Ma and Bo Zheng and Saksham Singhal and Payal Bajaj and Xia Song and Xian-Ling Mao and Heyan Huang and Furu Wei},
journal= {arXiv preprint arXiv:2106.16138},
year = {2022}
}
备注
ACL-2022