面向低资源多语神经机器翻译的语系适配器

以自监督方式训练的大型多语模型在广泛的自然语言处理任务中取得了最先进的结果。自监督预训练模型常在来自一个或多个语言对的平行数据上微调以用于机器翻译。多语微调提升了低资源语言上的性能，但需修改整个模型且可能极其昂贵。已有研究提出在不更新预训练模型的前提下，为每个语言对训练一个新适配器或对所有语言对训练单个适配器，作为一种参数高效的替代方案。然而，前者不允许语言间任何共享，而后者为所有语言共享参数且易受负干扰影响。本文中，我们提出在 mBART-50 之上训练语系适配器以促进跨语言迁移。我们的方法优于相关基线，在从英语译为 17 种不同低资源语言时平均获得更高的翻译分数。我们还展示了语系适配器提供了一种有效的翻译至预训练期间未见语言的方法。