无需训练即可跨不同架构传输任务向量

将大型预训练模型适应下游任务时，常会产生针对每个模型变体昂贵的 task-specific 参数更新。虽然最近的工作表明，这些更新可以在具有相同架构的模型之间传递，但在不同宽度的模型之间传递尚未探索。本文我们引入Theseus，一种用于在异构宽度模型之间无训练传输 task 更新的方法。我们不通过匹配参数来实现，而是通过对中间表示所引起的功能效应来特征化 task 更新。我们将 task-vector transport formalize 为在观察到的激活值上的函数匹配问题，并指出，在通过正交 Procrustes 分析对表示空间进行对齐后，它 admits 一个稳定的闭式解，preserving 对 update 的几何。我们在不同宽度的视觉和语言模型上评估了Theseus，显示在无需额外训练或反向传播的情况下， consistently 超过基线方法。我们的结果表明，当 task identity 通过功能而非参数方式定义时，task 更新可以在不同架构之间有意义地传递。代码可在 https://github.com/apanariello4/merge-and-rebase 获取。