论预训练-微调范式中跨任务线性性的涌现

预训练-微调范式已成为现代深度学习的主流趋势。在这项工作中，我们在从共同预训练检查点初始化并在不同任务上微调的模型中，发现了一个有趣的线性现象，称为跨任务线性性（CTL）。具体来说，我们表明，如果我们对两个微调模型的权重进行线性插值，权重插值模型中的特征通常近似等于两个微调模型在每一层特征的线性插值。我们提供了全面的经验证据，支持CTL在从相同预训练检查点开始的微调模型中一致出现。我们推测，在预训练-微调范式中，神经网络近似地充当线性映射，从参数空间映射到特征空间。基于这一观点，我们的研究揭示了关于解释模型合并/编辑的新见解，特别是通过将操作从参数空间转换到特征空间。此外，我们更深入地探究了CTL涌现的根本原因，强调了预训练的作用。