未知文字：文字系统对跨语言迁移的影响

跨语言迁移已成为在语言之间传递知识的有效方法。本文探讨了该领域中一个常被忽视的方面：语言模型的源语言对语言迁移性能的影响。我们考虑了目标语言及其文字系统不属于预训练模型的情况。我们在基于不同分词方法预训练的单语和多语模型上进行了一系列实验，以确定影响向具有独特文字系统的新语言进行跨语言迁移的因素。我们的发现揭示了分词器是比共享文字系统、语言相似性和模型规模更强的因素。