受系统发生学启发的大规模多语言模型向新语言的适配

大型预训练多语言模型在数十种语言上训练，凭借在各类语言任务上的跨语言学习能力取得了令人鼓舞的结果。进一步将这些模型适配到特定语言，尤其是预训练期间未见过语言，是扩展语言技术覆盖范围的重要目标。在本研究中，我们展示了如何利用语言系统发生信息，以结构化的、基于语言学知识的方式借助紧密相关的语言来改进跨语言迁移。我们对来自不同语系（日耳曼语族、乌拉尔语族、图皮语族、犹他-阿兹特克语族）的语言进行基于适配器的训练，并在句法和语义任务上评估，相较常用的强基线取得了超过20%的相对性能提升，尤其在预训练期间未见过语言上效果显著。