MoSLD：一种极端参数高效混合式共享LoRA模型用于多任务学习
机器学习
2024-12-13 v1 人工智能
计算与语言
摘要
最近，LoRA作为微调大规模预训练模型的关键技术，在多任务学习场景下的性能常常不足。相比之下，混合专家(MoE)架构提供了自然的解决方案。然而，它引入了诸多挑战，如不同领域数据之间的相互干扰和各种任务的知识遗忘。此外，MoE显著增加参数数量，带来了计算成本压力。因此，本文提出MoSLD，一种采用dropout策略的混合式共享LoRA模型。MoSLD通过在不同专家之间共享LoRA中的上投影矩阵，鼓励模型学习跨任务的通用知识，同时仍允许下投影矩阵聚焦于每个任务的独特特征。dropout的应用缓解了参数矩阵的不平衡更新，减轻了LoRA中的参数过拟合问题。大量实验表明，该模型在单任务和多任务场景下均表现优异，具备强大的跨域泛化能力。
引用
@article{arxiv.2412.08946,
title = {MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning},
author = {Lulu Zhao and Weihao Zeng and Xiaofeng Shi and Hua Zhou},
journal= {arXiv preprint arXiv:2412.08946},
year = {2024}
}
备注
Accept by COLING 2025