AdaRank:面向增强模型合并的自适应秩剪枝

模型合并已成为将独立微调模型统一为集成框架的一种有前景的方法,可显著提升多任务学习中的计算效率。近期,若干基于 SVD 的技术被引入以利用低秩结构来增强合并效果,但其对手工设计秩选择的依赖往往会导致跨任务干扰与次优性能。本文提出 AdaRank,一种新颖的模型合并框架,能够自适应地选择任务向量中最有益的奇异方向以合并多个模型。我们通过实验表明,任务向量的主导奇异分量会对其他任务造成关键干扰,且跨任务与跨层的简单截断会降低性能。相比之下,AdaRank 通过在测试时学习剪枝秩的方式,动态剪枝引发干扰的奇异分量,并为每个任务向量提供最优的信息量。我们的分析表明,该方法可缓解任务间有害的重叠,而实验结果表明,AdaRank 在多种骨干网络与不同任务数量下均能持续取得当前最优性能,将微调模型之间的性能差距缩小至接近 1%。