多语言BERT的跨语言对齐方法：一项比较研究
计算与语言
2020-10-01 v1
摘要
多语言BERT（mBERT）在下游任务微调后展现出合理的零样本跨语言迁移能力。由于mBERT并非以显式跨语言监督进行预训练，可通过以跨语言信号对齐mBERT来进一步提升迁移性能。已有工作提出多种方法来对齐上下文化嵌入。本文中我们分析不同形式的跨语言监督与各类对齐方法如何影响mBERT在零样本设定下的迁移能力。具体而言，我们比较平行语料库与基于词典的监督，以及基于旋转与基于微调的对齐方法。我们在命名实体识别与语义槽填充两项任务上，跨八种语言评估不同对齐方法的性能。此外，我们提出一种新颖的归一化方法，可一致地提升基于旋转的对齐性能，包括对远距离且类型学相异语言带来显著的3% F1提升。重要的是，我们识别出对齐方法对任务类型及与迁移语言接近程度的偏差。我们还发现平行语料库的监督通常优于词典对齐。
引用
@article{arxiv.2009.14304,
title = {Cross-lingual Alignment Methods for Multilingual BERT: A Comparative Study},
author = {Saurabh Kulshreshtha and José Luis Redondo-García and Ching-Yun Chang},
journal= {arXiv preprint arXiv:2009.14304},
year = {2020}
}
备注
Accepted as a long paper in Findings of EMNLP 2020