重新思考面向数据异构的联邦学习中的 LoRA：子空间与状态对齐
机器学习
2026-02-03 v1 人工智能
摘要
低秩适应（LoRA）在联邦微调中被广泛使用。然而在非独立同分布（non-IID）设置下，它会显著低于全参数微调。通过高概率鲁棒性分析，我们发现这一差距可归因于两个耦合的不匹配：（i）更新空间不匹配，客户端在低秩子空间中优化，但聚合发生在完整空间中；（ii）优化器状态不匹配，未同步的自适应状态会放大跨轮的漂移。我们提出了 FedGaLore，结合客户端侧的 GaLore 风格梯度子空间优化与服务器端通过谱共享信号提取实现投影二阶矩状态的漂移鲁棒同步，以解决这一挑战。在 NLU、视觉和 NLG 基准测试中，FedGaLore 在非 I.I.D. 设置下相较于最先进的联邦 LoRA 基线显著提升了鲁棒性和准确性。
引用
@article{arxiv.2602.01746,
title = {Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment},
author = {Hongyi Peng and Han Yu and Xiaoxiao Li and Qiang Yang},
journal= {arXiv preprint arXiv:2602.01746},
year = {2026}
}