多语言 BERT 的跨语言能力与时序特定信息研究
计算与语言
2020-04-21 v1
摘要
近来,多语言 BERT 在跨语言迁移任务上表现极为出色,优于静态非上下文词嵌入。在本文中,我们提供一项深入的实验研究,以补充现有关于跨语言能力的文献。我们在相同数据下比较了非上下文与上下文表示模型的跨语言能力。我们发现数据规模与上下文窗口大小是影响可迁移性的关键因素。我们还观察到多语言 BERT 中的语言特定信息。通过操控潜在表示,我们可以控制多语言 BERT 的输出语言,并实现无监督的词级翻译。我们进一步表明,基于该观察,存在一种计算代价低但有效的途径来提升多语言 BERT 的跨语言能力。
引用
@article{arxiv.2004.09205,
title = {A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT},
author = {Chi-Liang Liu and Tsung-Yuan Hsu and Yung-Sung Chuang and Hung-Yi Lee},
journal= {arXiv preprint arXiv:2004.09205},
year = {2020}
}