多语言BERT后预训练对齐
计算与语言
2021-04-13 v2
摘要
我们提出一种简单方法,在预训练模型后通过一步后预训练对齐多语言上下文嵌入,以提升其零样本跨语言迁移能力。利用平行数据,我们的方法通过近期提出的翻译语言建模目标在词级对齐嵌入,并通过对比学习与随机输入打乱在句级对齐。在下游任务微调时,我们还使用英语进行句级代码切换。在XNLI上,我们的最佳模型(以mBERT初始化)在零样本设定下较mBERT提升4.7%,并在translate-train下取得与XLM相当的结果,而所用平行数据不足其18%、模型参数少31%。在MLQA上,我们的模型优于参数多57%的XLM-R_Base。
引用
@article{arxiv.2010.12547,
title = {Multilingual BERT Post-Pretraining Alignment},
author = {Lin Pan and Chung-Wei Hang and Haode Qi and Abhishek Shah and Saloni Potdar and Mo Yu},
journal= {arXiv preprint arXiv:2010.12547},
year = {2021}
}
备注
Accepted at NAACL2021