通过正交梯度投影解耦多任务LoRA中的任务冲突
机器学习
2026-01-15 v1 人工智能
计算与语言
摘要
多任务学习（MTL）与低秩适应（LoRA）相结合，已成为大语言模型（LLM）参数高效部署的一个有前景的方向。通过在多个任务间共享单个适配器，可以显著降低存储开销。然而，这种方法存在负迁移问题，即来自不同任务的冲突梯度更新会降低单个任务的性能，与单任务微调相比。在LoRA中，由于低秩约束限制了优化景观容纳多样化任务需求的能力，这一问题更加严重。在本文中，我们提出了Ortho-LoRA，这是一种专门为LoRA的二部图结构定制的梯度投影方法。Ortho-LoRA在LoRA内在子空间内，动态地将冲突的任务梯度投影到彼此的正交补上。在GLUE基准上的大量实验表明，Ortho-LoRA有效地缓解了任务干扰，性能优于标准联合训练，并以可忽略的计算开销恢复了多任务与单任务基线之间95%的性能差距。
引用
@article{arxiv.2601.09684,
title = {Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection},
author = {Ziyu Yang and Guibin Chen and Yuxin Yang and Aoxiong Zeng and Xiangquan Yang},
journal= {arXiv preprint arXiv:2601.09684},
year = {2026}
}
备注
preprint