双语语言模型中共享语法表征的习得

跨语言迁移对当代语言模型的多语言能力至关重要，但其发生机制尚不完全清楚。我们探讨单语语言模型在开始训练第二语言时会发生什么。具体而言，我们训练小型双语模型，并对每种语言的数据量和语言暴露顺序进行控制。为了寻找共享多语言表征的证据，我们采用结构启动（structural priming）方法——这是一种用于研究人类语法表征的方法。我们首先复现了先前的跨语言结构启动结果，并发现在控制训练数据量和语言暴露后，语言对之间和方向上存在不对称效应。我们认为这种不对称性可能塑造关于人类结构启动效应的假设。我们还发现，结构启动效应在语言类型差异较大的语言对中不太稳健，这突显了跨语言迁移学习和共享表征在类型学多样化语言方面的潜在局限。