已知语言影响所学语言：语言特性对多语文本到文本迁移的影响

多语语言模型(LM)，如 mBERT、XLM-R、mT5、mBART，已通过从高资源语言向低资源语言的跨语言迁移，在低资源语言的自然语言任务上取得显著成功。本工作中，我们试图更好地理解此类模型（特别是 mT5）如何跨语言迁移任何语言与语义知识，尽管在预训练期间并未提供显式的跨语言信号。相反，仅向模型分别且独立地呈现每种语言的未标注文本，模型似乎隐式地学习到了跨语言关联。这引发了若干驱动本研究的问题，例如：每对语言之间的跨语言关联是否同等强？源语言与目标语言的哪些特性影响跨语言迁移的强度？我们能否量化这些特性对跨语言迁移的影响？在调查中，我们分析了一个预训练的 mT5，以发现该模型学到的跨语言关联的属性。通过对 90 个语言对在三个任务上的统计解释框架，我们表明迁移性能可由若干语言学与数据派生特征建模。这些观察使我们能够解释 mT5 模型的跨语言理解。借助这些观察，人们可为任务有利地选择最佳源语言，并预估其训练数据需求。本工作的一个关键发现是：句法、形态与音系的相似性可很好地预测跨语言迁移，其重要性显著超过仅考虑语言的词汇相似性。对于给定语言，我们能够预测零样本性能，且该性能随少样本目标语言数据点的数量呈对数尺度增长。