机器翻译能否桥接多语言预训练与跨语言迁移学习？

多语言预训练和微调在各种自然语言处理任务中取得了显著成功。将表征从一种语言迁移到另一种语言对于跨语言学习尤为关键。人们可以期望机器翻译目标非常适合培养这种能力，因为它们涉及不同语言中语义等价句子的显式对齐。本文研究了将机器翻译作为持续训练目标以增强语言表征学习的潜在益处，从而桥接多语言预训练与跨语言应用。我们通过两个视角研究这一问题：对现有模型性能的定量评估以及对其潜在表征的分析。我们的结果表明，与预期相反，作为持续训练的机器翻译未能增强多个跨语言自然语言理解任务中的跨语言表征学习。我们得出结论，跨语言场景中的显式句子级对齐对跨语言迁移预训练是不利的，这对未来的跨语言迁移研究具有重要意义。此外，我们通过相似性度量和参数调查提供了证据，表明这种缺乏积极影响是由于输出可分性造成的——我们认为这有利于机器翻译，但在其他方面是不利的。