多语言掩码语言模型的跨语言能力：一项语言结构研究
计算与语言
2022-03-17 v1
摘要
多语言预训练语言模型，如 mBERT 和 XLM-R，已展现出令人印象深刻的跨语言能力。令人惊讶的是，它们均使用多语言掩码语言模型（MLM）而未借助任何跨语言监督或对齐数据。尽管结果令人鼓舞，我们仍不清楚跨语言能力为何能从多语言 MLM 中涌现。在我们的工作中，我们认为跨语言能力源于语言间的共性。具体而言，我们研究了三种语言属性：成分次序、组合性与词语共现。首先，我们通过修改源语言中的属性构建一种人工语言。随后，我们通过目标语言上跨语言迁移结果的变化来研究被修改属性的贡献。我们在六种语言和两项跨语言 NLP 任务（文本蕴含、句子检索）上进行了实验。我们的主要结论是：成分次序与词语共现的贡献有限，而组合性对跨语言迁移的成功更为关键。
引用
@article{arxiv.2203.08430,
title = {Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure},
author = {Yuan Chai and Yaobo Liang and Nan Duan},
journal= {arXiv preprint arXiv:2203.08430},
year = {2022}
}
备注
ACL 2022