一个模型翻译所有？多语言模型合并通往末日火山的旅程

权重空间模型合并不访问原始训练数据即可组合独立微调后的模型，为联合训练提供了一种实用的替代方案。虽然合并在多任务设置中取得了成功，但其在多语言环境中的行为仍了解甚少。我们系统地研究了多语言机器翻译的权重空间合并，通过在大规模双语语料库上完全微调语言模型并评估标准合并策略。我们的实验表明，合并会降低性能，尤其是在目标语言不同时。为了解释这一失败，我们使用基于跨度的神经元选择性和逐层中心化核对齐来分析内部表征。我们发现，语言特定神经元集中在嵌入层和上层 transformer 块中，而中间层在不同语言间基本共享。关键的是，微调重新分配而非锐化语言选择性：监督语言和相关语言的神经元变得不那么排他，而无监督语言的神经元变得更加孤立。这种重新分配增加了控制生成的更高层中的表征发散。这些发现表明，多语言微调可能以降低与标准权重空间合并假设兼容性的方式重塑几何结构。我们的工作因此解释了为什么合并在多语言翻译场景中会失败。