联邦学习中使用 LoRA 的稳定细调：通过缩放因子缓解客户规模与秩的副作用
机器学习
2026-03-10 v1
摘要
大型语言模型 (LLM) 是自然语言处理领域的关键元素。由于全面微调的不可行，参数高效微调 (PEFT) 方法如低秩适应 (LoRA) 以优化低秩矩阵 A 和 B 的方式受到关注。在需要隐私约束的分布式场景中，LoRA 的集成通常不稳定。具体而言，我们识别到来自多个客户的聚合会引入随客户数量而比例扩大的数据方差，导致使用高秩适配器时的梯度崩溃。现有的缩放因子候选方案，如 Rank-Stabilized LoRA 所使用的因子，忽略了由聚合过程引起的相互作用。为弥合这一差距，本文引入了 Stabilized Federated LoRA (SFed-LoRA)，一种理论上刻画了适配器秩与联邦聚合之间相互作用的框架。我们推导出一种最优缩放因子，旨在有效缓解跨 N 个客户累积的聚合误差。通过纠正以前方法固有的缩放不匹配，SFed-LoRA 在不改变原始模型架构或增加推理延迟的情况下，恢复了高秩适应的有效性。针对多样化的任务、模型架构和异构数据分布开展了大量实验，以验证我们的成果。我们展示了 SFed-LoRA 防止高秩崩溃，并在与 state-of-the-art 基线相比方面实现了显著提升的稳定性和更快的收敛速度。
引用
@article{arxiv.2603.08058,
title = {Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor},
author = {Jiayu Huang and Xiaohu Wu and Tiantian He and Qicheng Lao},
journal= {arXiv preprint arXiv:2603.08058},
year = {2026}
}