基于部分线性化的参数高效多任务模型融合
机器学习
2024-03-12 v3
摘要
大型预训练模型推动了机器学习的显著进步，并作为基础组件。模型融合方法（如任务算术）已被证明能有力且可扩展地将不同任务的微调权重整合进多任务模型。然而，在多个下游任务上高效微调大型预训练模型仍具挑战，导致多任务模型融合效率低下。本工作中，我们提出一种新方法，以改进对 LoRA 微调等参数高效微调技术的多任务融合。具体而言，我们的方法仅对适配器模块进行部分线性化，并对线性化后的适配器应用任务算术。这使我们能在仍高效执行微调和推理的同时，利用模型融合相对于线性化微调的优势。我们证明，部分线性化技术能将多个任务更有效地融合为单一模型，优于标准适配器调优和单独的任务算术。实验结果展示了我们所提部分线性化技术通过融合微调任务向量有效构建统一多任务模型的能力。我们随任务数增加评估性能，发现该方法优于标准参数高效微调技术。结果凸显了部分线性化在可扩展且高效的多任务模型融合中的益处。代码见 https://github.com/tanganke/peta
引用
@article{arxiv.2310.04742,
title = {Parameter Efficient Multi-task Model Fusion with Partial Linearization},
author = {Anke Tang and Li Shen and Yong Luo and Yibing Zhan and Han Hu and Bo Du and Yixin Chen and Dacheng Tao},
journal= {arXiv preprint arXiv:2310.04742},
year = {2024}
}