FedLoRA-Optimizer：基于全局与局部优化的联邦 LoRA 微调方法
机器学习
2025-10-14 v1
摘要
联邦化高效微调作为一种方法，利用跨节点分布式数据和计算资源，以解决大规模微调和隐私保护方面的挑战。低秩适应 (LoRA) 通过在权重更新中引入可训练的低秩矩阵，实现了大规模预训练模型的高效微调。然而，在异构数据场景下，客户端漂移会削弱全局模型的泛化能力，局部模型往往无法满足单个客户的个性化需求。此外，现有的联邦 LoRA 高效微调技术忽略了对调谐矩阵的细粒度分析。为此，我们进行了初步实验，发现不同的 LoRA 矩阵对其向量方向和幅值变化具有不同的灵敏度。我们因此提出了一种细粒度联邦 LoRA 调谐方法。通过对编码共享知识的 A 矩阵中更灵敏的方向向量进行调谋，本方法在客户之间更有效地学习共享特征，增强了全局泛化。同时，通过对编码个性化知识的 B 矩阵中更灵敏的幅值向量进行调谋，本方法更好地捕捉个性化知识，实现对局部数据的细致适应。该方法采用结合全局与局部优化器的管道。全局优化进一步改进局部模型，实现全局与局部水平的协作优化。这在异构数据场景下提高了全局模型的泛化能力和局部模型的个性化适应性。在 LLaMA2-7B 和 Deepseek-7B 上的 Databricks-Dolly-15k 和 Natural Instructions 实验表明，我们的方法将全局性能提升 0.39%，局部性能提升 0.59%。
引用
@article{arxiv.2510.11274,
title = {FedLoRA-Optimizer: Federated LoRA Fine-Tuning with Global and Local Optimization in Heterogeneous Data Scenarios},
author = {Jianzhe Zhao and Hailin Zhu and Yu Zhang and Ziqi Chen and Guibing Guo},
journal= {arXiv preprint arXiv:2510.11274},
year = {2025}
}