基于二进制任务开关的高效模型合并
机器学习
2024-12-03 v1
摘要
作为为模型提供多任务能力且无需额外训练的方法，模型合并引起了广泛关注。然而，现有方法面临着参数冲突和参数存储负担过大的挑战。本文通过控制实验揭示，对于任务向量而言，只有幅值超过某一阈值的参数对该任务具有积极贡献，表现出类似脉冲的特征。我们进而尝试利用这一特征对任务向量进行二值化以减少存储开销。进一步的控制实验表明，二值化任务向量几乎不会导致微调和合并性能下降，甚至在冗余参数比例增加时表现出更强的性能提升。基于这些发现，我们提出了任务开关（T-Switch），其将任务向量分解为三个组成部分：1）通过二值化掩码向量实现的激活开关，2）通过二值化符号向量实现的极性开关，3）通过标量系数实现的缩放旋钮。通过将任务向量以二值化形式存储，T-Switch在确保高效任务参数存储的同时缓解了参数冲突。 Furthermore, 为实现T-Switch中自动开关组合，我们进一步引入Auto-Switch，通过从小型查询集中检索实现无需训练的开关组合。实验表明，我们的方法在现有基线之上实现了显著的性能提升，仅需占全精度参数存储空间的1%-3%。
引用
@article{arxiv.2412.00054,
title = {Less is More: Efficient Model Merging with Binary Task Switch},
author = {Biqing Qi and Fangyuan Li and Zhen Wang and Junqi Gao and Dong Li and Peng Ye and Bowen Zhou},
journal= {arXiv preprint arXiv:2412.00054},
year = {2024}
}