从相关语言进行跨语言迁移：将低资源马耳他语视为多语码转换

尽管多语言模型在未见过的语言上展现出令人印象深刻的跨语言迁移能力，但当目标语言与多语言模型预训练数据中使用的语言存在文字系统差异时，其在下游任务上的性能会受到影响。使用音译提供了一种直接而有效的方法，将资源丰富语言的文字系统与目标语言对齐，从而增强跨语言迁移能力。然而，对于混合语言，这种方法并非最优，因为只有一部分语言受益于跨语言迁移，而其余部分则受到阻碍。在这项工作中，我们专注于马耳他语，这是一种闪米特语族语言，受到阿拉伯语、意大利语和英语的显著影响，并且显著地使用拉丁字母书写。我们提出了一个带有词级词源标注的新颖数据集。我们使用该数据集训练一个分类器，使我们能够就马耳他语中每个词元的适当处理方式做出明智的决策。我们将不加区分的音译或翻译与混合处理流水线进行了对比，后者仅对阿拉伯语起源的词进行音译，从而产生混合文字系统的文本。我们在四个下游任务上对处理后的数据进行微调，结果表明，基于词源的条件音译产生了最佳结果，超越了使用原始马耳他语或使用非选择性流水线处理的马耳他语进行微调的效果。