Auto-FlexSwitch：通过可学习任务向量压缩实现高效动态模型合并
机器学习
2026-05-01 v1
摘要
模型合并作为一种通过整合多个任务特定模型的知识来实现多任务适应的有效途径，已引起广泛关注。在现有方法中，动态合并在推理时灵活组合任务特定参数，从而减轻了因跨任务参数更新冲突而导致的性能下降，进而保持了高性能。然而，这些方法需要为每个任务存储独立的参数，导致存储开销过大。为了解决这个问题，我们首先通过实验证明，微调后的权重增量(称为任务向量)表现出类似脉冲的激活模式，并且对低位表示具有高鲁棒性。基于这一洞察，我们提出了T-Switch，它将任务向量分解为三个紧凑的组件：一个二值稀疏掩码、一个符号向量和一个标量缩放因子，从而在高压缩比下实现高保真近似。接着，我们引入了Auto-Switch，这是一种无需训练的合并方案，通过特征相似性检索自动组合任务向量。在此基础上，我们开发了Auto-Switch，一种无需训练的合并方案，通过特征相似性检索自动组装任务向量。此外，为了将任务向量稀疏化和量化从静态规则转变为自适应学习，我们提出了FlexSwitch，这是一个可学习的框架，通过可学习门控稀疏化(LGS)和位宽自适应选择(BAS)为每个模型单元联合优化压缩策略，同时采用稀疏感知存储策略(SASS)来选择最优的存储编码结构。最后，通过结合K-最近邻(KNN)推理方案与可学习的低秩度量，我们提出了Auto-FlexSwitch，这是一种支持高效任务向量压缩的动态模型合并方法。
引用
@article{arxiv.2604.28109,
title = {Auto-FlexSwitch: Efficient Dynamic Model Merging via Learnable Task Vector Compression},
author = {Junqi Gao and Dazhi Zhang and Zhichang Guo and Biqing Qi and Yi Ran and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2604.28109},
year = {2026}
}