多语言 BERT 为何具有多语言性？
计算与语言
2020-10-22 v1 机器学习
摘要
近来，多语言 BERT 在跨语言迁移任务上表现极为出色，优于静态非上下文词嵌入。本工作中，我们提供一项深度实验研究以补充现有关于跨语言能力的文献。我们在相同数据下比较了非上下文与上下文表示模型的跨语言能力。我们发现数据规模和上下文窗口大小是可迁移性的关键因素。
引用
@article{arxiv.2010.10938,
title = {What makes multilingual BERT multilingual?},
author = {Chi-Liang Liu and Tsung-Yuan Hsu and Yung-Sung Chuang and Hung-yi Lee},
journal= {arXiv preprint arXiv:2010.10938},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2004.09205