面向联邦低秩适配的通信高效精准聚合方法

随着基础模型的快速涌现以及跨分布式环境中微调日益增长的需求，联邦低秩适配（FedLoRA）最近受到广泛关注。尽管存在巨大的潜力，但当前的 FedLoRA 方法因更新不够准确而面临显著挑战。已尝试缓解此问题的现有方法，往往引入“局部-全局泛化差距”，并导致“显著通信开销”，限制了其可扩展性和有效性。为解决这些限制，我们提出了 Federated LoRA with Near-Accurate Estimation（FLoRA-NA）。FLoRA-NA 利用服务器上的局部 LoRA 矩阵来估计聚合矩阵 $\hat{A}$ 和 $\hat{B}$，然后将这些估计矩阵分发给客户端进行局部更新。这种代理聚合矩阵最小化了理想梯度 $\nabla \Bar{W} = \sum^{U}_{u=1}B_u A_u$ 与实际更新 $\nabla \hat{W} = \hat{B}\hat{A}$ 之间的差距，而无需增加基于普通 FedLoRA 的通信成本。通过这种方式，FLoRA-NA 实现了通信效率，弥合了局部个人化与全局泛化之间的差距，解决了先前个性化 FedLoRA 方法的关键局限性。我们在包括自然语言理解、数学推理和代码解决能力等多个任务上进行了广泛评估，使用各种基础模型。实验结果一致显示，FLoRA-NA 在保持低通信开销的同时实现了最新的全局性能。