基于具体子空间学习的干扰消除用于多任务模型融合
机器学习
2023-12-12 v1
摘要
合并从共同、广泛预训练的大模型微调而来但专用于不同任务的模型，已被证明是一种廉价且可扩展的策略，用于构建在多样化任务上表现良好的多任务模型。近期研究，以任务算术为代表，强调这种多任务模型可通过任务向量上的算术运算导出。然而，当前的合并技术常通过评估单个属性（如参数的量级或符号）来解决任务特定模型参数间的潜在冲突，忽视了它们对模型整体功能的集体影响。在本工作中，我们提出连续松弛离散（Concrete）子空间学习方法，以识别一个公共低维子空间，并利用其共享信息来追踪干扰问题，同时不过多牺牲性能。具体而言，我们将问题建模为一个双层优化问题，并引入一个元学习框架，通过基于梯度的技术来寻找Concrete子空间掩码。在上层，我们专注于学习一个共享的Concrete掩码以识别子空间；而在内层，则执行模型合并以最大化合并模型的性能。我们在视觉领域和语言领域进行了广泛实验，结果证明了我们方法的有效性。代码可在https://github.com/tanganke/subspace_fusion获取。
引用
@article{arxiv.2312.06173,
title = {Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion},
author = {Anke Tang and Li Shen and Yong Luo and Liang Ding and Han Hu and Bo Du and Dacheng Tao},
journal= {arXiv preprint arXiv:2312.06173},
year = {2023}
}