BERT 何时具有多语言性？隔离跨语言迁移的关键要素
计算与语言
2022-05-05 v3 机器学习
摘要
尽管近期关于多语言语言模型的研究已证明其具备在下游任务上进行跨语言零样本迁移的能力，但学界对于语言间何种共享属性促成了此类迁移尚无共识。涉及自然语对的分析往往因语言在诸多语言层面同时存在差异而结论不明且相互矛盾。本文通过测量四种多样自然语言与其在字母表、词序和句法等层面被修改后的对应语言之间的零样本迁移，开展大规模实证研究以隔离各语言属性的影响。其中，我们的实验表明：当语言词序不同时，子词重叠的缺失会显著影响零样本迁移；且迁移性能与语言间词嵌入对齐程度高度相关（例如自然语言推理任务上 R=0.94）。我们的结果呼吁在多语言模型中应聚焦于显式提升语言间词嵌入对齐，而非依赖其隐式涌现。
引用
@article{arxiv.2110.14782,
title = {When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer},
author = {Ameet Deshpande and Partha Talukdar and Karthik Narasimhan},
journal= {arXiv preprint arXiv:2110.14782},
year = {2022}
}
备注
Accepted at NAACL 2022