通过 LoRA 交替优化实现大语言模型的鲁棒联邦微调
机器学习
2025-11-06 v4 人工智能
摘要
低秩适应（LoRA）等参数高效微调（PEFT）方法通过降低计算和通信成本来优化联邦训练。我们提出 RoLoRA，一个利用交替优化来微调 LoRA 适配器的联邦框架。我们的方法强调了学习向上和向下投影矩阵对于增强表达能力和鲁棒性的重要性。我们通过理论分析和大量实验证明了 RoLoRA 相对于先前方法的优势，这些先前方法要么产生不完美的模型更新，要么限制了模型的表达能力。我们在线性模型上提供了理论分析，以突出在 LoRA 中同时学习向下投影和向上投影矩阵的重要性。我们在非线性模型上验证了这些见解，并单独给出了一般条件下的收敛性证明。为了连接理论与实践，我们对语言模型（包括 RoBERTa-Large、Llama-2-7B）在多种任务和联邦学习设置下进行了广泛的实验评估，以证明 RoLoRA 相对于其他方法的优势。
引用
@article{arxiv.2502.01755,
title = {Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA},
author = {Shuangyi Chen and Yuanxin Guo and Yue Ju and Harik Dalal and Zhongwen Zhu and Ashish Khisti},
journal= {arXiv preprint arXiv:2502.01755},
year = {2025}
}
备注
Accepted to NeurIPS 2025