多语言语言模型的单语与跨语言预训练动态分析
计算与语言
2022-10-25 v2
摘要
在多语言预训练模型中观察到的涌现跨语言迁移引发了对其行为研究的显著兴趣。然而，由于这些分析聚焦于完全训练好的多语言模型，人们对多语言预训练过程的动态知之甚少。我们通过使用一套语言任务，探测 XLM-R 预训练过程中取出的检查点，来调查这些模型何时获得其语言内与跨语言能力。我们的分析表明，模型很早便达到较高的语言内性能，较低层次的语言技能先于更复杂的技能被习得。相比之下，模型在预训练中学习跨语言迁移的时间点因语言对而异。有趣的是，我们还观察到，在许多语言和任务上，最终模型层随时间表现出显著的性能退化，而语言知识向网络的较低层传播。综上，这些洞见凸显了多语言预训练的复杂性以及不同语言随时间产生的各异行为。
引用
@article{arxiv.2205.11758,
title = {Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models},
author = {Terra Blevins and Hila Gonen and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2205.11758},
year = {2022}
}
备注
EMNLP 2022