CABS：用于增强模型合并的冲突感知与平衡稀疏化
机器学习
2025-03-05 v1 人工智能
摘要
基于任务向量的模型合并，即微调模型与共享基模型之间的参数差异，提供了一种高效的方法将多个任务特定模型整合为多任务模型而无需重新训练。近期工作致力于通过稀疏化解决模型合并中面临的任务向量之间的冲突问题；然而，两个问题显著限制了它们的性能：高参数重叠和不均衡的权重分布。为了解决这些问题，我们提出了一个简单而有效的框架 CABS（冲突感知与平衡稀疏化），由冲突感知稀疏化（CA）和平衡稀疏化（BS）组成。CA 通过在顺序剪枝过程中应用掩码来减少参数重叠，确保每个任务向量保留独特且不重叠的参数。BS 利用 n:m 剪枝在保持关键权重的同时维持各层之间的均匀分布。我们全面的实验表明，CABS 在各种任务和模型规模上优于最先进的方法。
引用
@article{arxiv.2503.01874,
title = {CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging},
author = {Zongzhen Yang and Binhang Qi and Hailong Sun and Wenrui Long and Ruobing Zhao and Xiang Gao},
journal= {arXiv preprint arXiv:2503.01874},
year = {2025}
}