将你的 Transformer 更新至最新版本：任务向量的重基

基础模型作为骨干，支撑着通过微调开发出的众多专用模型。然而，当底层预训练模型被更新或重新训练（例如在更大且更精选的数据集上）时，微调后的模型便会过时，失去其效用并需要重新训练。这引出了一个问题：是否有可能将微调迁移到模型的新版本中？在这项工作中，我们研究了如何以无数据的方式将微调迁移到新的检查点，而无需重新训练。为此，我们借鉴了模型重基的原理，并提供了一种基于权重排列的方案，以对原始基础模型所做的修改（通常称为任务向量）进行重基。具体而言，我们的方法针对 Transformer 模型量身定制了模型重基，考虑了残差连接和多头注意力层的挑战。具体来说，我们提出了一种基于谱理论的两级方法，首先对注意力头进行排列，随后调整选定注意力头对内的参数。通过在视觉和文本任务上的广泛实验，我们在不依赖任何训练步骤或数据点的情况下，实现了微调知识向新预训练骨干模型的无缝迁移。代码可在 https://github.com/aimagelab/TransFusion 获取。