多语言 BERT 究竟有多“多语”？
计算与语言
2019-06-05 v1 人工智能
机器学习
摘要
在本文中，我们表明由 Devlin 等人（2018）发布的 Multilingual BERT（M-BERT）——一个从 104 种语言的单语语料库预训练得到的单一语言模型——在零样本跨语言模型迁移上出奇地好，其中某一语言中的任务特定标注被用于微调模型以在另一语言中评估。为理解其原因，我们提出大量探测实验，表明即便对于不同文字系统的语言迁移也是可能的，迁移在类型学相似的语言间效果最佳，单语语料库可训练用于语码转换的模型，且该模型能找到翻译对。从这些结果中，我们可以得出结论：M-BERT 确实创建了多语言表示，但这些表示存在影响特定语言对的系统性缺陷。
引用
@article{arxiv.1906.01502,
title = {How multilingual is Multilingual BERT?},
author = {Telmo Pires and Eva Schlinger and Dan Garrette},
journal= {arXiv preprint arXiv:1906.01502},
year = {2019}
}