面向训练-free 任务向量迁移的双线性坐标对齐
机器学习
2026-05-28 v1
摘要
对大规模预训练模型进行微调是近期流行的范式，用于将通用表示适应到特定任务。然而，当新版本的预训练模型可用时，经过微调所获得的专业知识无法直接重用，因为它绑定于原始模型的参数，需要进行代价高昂的再微调。为解决这一效率问题，近期研究使用任务向量——即微调后模型与其基础模型之间的参数差——用于跨模型迁移专业知识。虽然现有方法通过匹配激活或梯度来桥接不同模型，但相对于直接微调仍存在显著的性能差距，表明这些部分对应关系不足够。在本工作中，我们并不仅仅将任务向量视为参数偏移，而是重新审视任务向量的形成，表明它们可以源自输入侧激活与输出侧梯度之间的累积双线性相互作用。基于这一观察，我们将任务向量迁移形式化为双空间对齐问题，提出 BiCo，通过双线性坐标对齐实现任务向量的训练-free 框架。BiCo 通过对小型校准集进行单次前向-反向传播即可在两个空间中估计正交 Procrustes 映射，无需任何参数更新。在广泛的计算机视觉和自然语言处理基准测试中，BiCo 在宽度、深度和预训练配置不同的模型之间始终优于现有迁移方法。
引用
@article{arxiv.2605.28444,
title = {Bilinear Coordinate Alignment for Training-Free Task-Vector Transfer},
author = {Jungyong Son and Jinwook Jung and Minhee Park and Sungyong Baik},
journal= {arXiv preprint arXiv:2605.28444},
year = {2026}
}