R-LoRA：用于高效多任务学习的随机多头LoRA
机器学习
2025-06-03 v2 人工智能
摘要
微调大型语言模型 (LLM) 计算成本高昂，低秩适应 (LoRA) 通过通过低秩矩阵近似权重更新提供了具有成本效益的解决方案。在实际场景中，LLM在来自多个领域的数据上进行微调，以完成各种领域的任务，体现为多任务学习 (MTL)。LoRA在此类复杂场景下常表现不佳。为增强LoRA在多任务学习中的能力，我们提出了R-LoRA， incorporates 多头随机化。多头随机化通过多头 dropout 和 多头随机初始化来多样化 head 矩阵，使能够更高效地学习任务特定的特征，同时保持共享知识表示。我们的 方法不仅提高了 MTL 中的性能，还减少了 GPU 内存使用和训练时间。实验表明，R-LoRA 的提升源于 head 矩阵的多样性增加，展示了其在多任务学习中的有效性。代码可在 https://github.com/jinda-liu/R-LoRA 获取。
引用
@article{arxiv.2502.15455,
title = {R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning},
author = {Jinda Liu and Yi Chang and Yuan Wu},
journal= {arXiv preprint arXiv:2502.15455},
year = {2025}
}
备注
8 pages, 7 figures