ShareLoRA: 通过共享低秩自适应实现参数高效且鲁棒的大语言模型微调
计算与语言
2025-05-20 v2 人工智能
摘要
在本文中，我们提出了共享低秩自适应（ShareLoRA），这是一种大语言模型（LLM）微调技术，它在不牺牲性能的前提下平衡了参数效率、适应性和鲁棒性。通过在不同层之间策略性地共享低秩权重矩阵，与标准LoRA相比，ShareLoRA实现了44%到96%的可训练参数减少，同时显著降低了内存开销。这种效率提升随模型规模扩大而增长，使得ShareLoRA在资源受限的环境中尤其有利。重要的是，ShareLoRA不仅保持了模型性能，还在包括RoBERTa、GPT-2和LLaMA系列（1、2和3）在内的多种模型的分类和生成任务中展现出鲁棒性。在零样本、少样本和持续微调场景中，它始终优于LoRA，平均准确率提升高达1.2%，并增强了跨领域的泛化能力。在持续学习设置中，ShareLoRA在GSM8K上准确率提升1.2%，在HumanEval上提升0.6%，在MMLU和MMLU-Pro上均提升0.5%。我们的结果表明，ShareLoRA支持高质量微调，同时在各种模型规模和多样化任务中提供强大的泛化和持续适应能力。
引用
@article{arxiv.2406.10785,
title = {ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation},
author = {Yurun Song and Junchen Zhao and Ian G. Harris and Sangeetha Abdu Jyothi},
journal= {arXiv preprint arXiv:2406.10785},
year = {2025}
}
备注
17 pages, 7 figures