谁引发干扰谁应终结：通过任务向量引导无数据模型合并
机器学习
2025-06-12 v2
摘要
模型合并旨在将特定任务的专家模型整合为统一架构，同时保持多任务泛化能力，但组成模型间的参数干扰常导致性能下降。尽管已有工作探索了许多合并策略，但在没有额外数据用于重训练或测试时计算的情况下解决干扰仍具挑战。本文在理论上证明，线性层的任务向量构成其对应输入的近似线性子空间。因此，我们可以在任务向量的引导下最小化干扰。基于此洞察，我们提出 WUDI-Merging（Whoever started the interference shoUld enD It），一种简单而有效的模型合并方法，无需任何额外数据或缩放系数即可消除干扰。在视觉和语言基准上的综合实证评估表明了该方法的优越性，在无数据模型合并场景中实现了 SOTA 性能（较基线方法平均提升 10.9%），甚至比主流测试时自适应方法高出 3.3%，且仅需极少的计算资源。代码将很快公开。
引用
@article{arxiv.2503.08099,
title = {Whoever Started the Interference Should End It: Guiding Data-Free Model Merging via Task Vectors},
author = {Runxi Cheng and Feng Xiong and Yongxian Wei and Wanyun Zhu and Chun Yuan},
journal= {arXiv preprint arXiv:2503.08099},
year = {2025}
}
备注
23 pages, 13 figures, 12 tables