匹配语系，若多语则适配：分析多语言预训练对跨语言迁移能力的影响
计算与语言
2022-03-22 v1
摘要
多语言预训练模型支持即便对未见语言的零样本学习，且该性能可通过微调前适配进一步提升。然而，预训练语言的数量如何影响模型对预训练期间未见语言的零样本学习尚不清楚。为填补此空白，我们提出以下研究问题：（1）预训练语言数量如何影响对未见目标语言的零样本性能？（2）该问题的答案是否随模型适配而改变？（3）若用于预训练的语言均相关，我们第一个问题的发现是否会变化？我们在相关语言上预训练的实验表明，选择多样的语言集合至关重要。无模型适配时，出人意料地，增加预训练语言数量在加入相关语言前能带来更好结果，此后性能趋于平稳。相反，通过继续预训练进行模型适配时，在更大量语言上预训练常带来进一步改善，表明模型适配对利用额外预训练语言至关重要。
引用
@article{arxiv.2203.10753,
title = {Match the Script, Adapt if Multilingual: Analyzing the Effect of Multilingual Pretraining on Cross-lingual Transferability},
author = {Yoshinari Fujinuma and Jordan Boyd-Graber and Katharina Kann},
journal= {arXiv preprint arXiv:2203.10753},
year = {2022}
}
备注
ACL 2022 camera ready