局部梯度调节稳定了客户端异构性下的联邦学习
机器学习
2026-01-08 v1 分布式、并行与集群计算
摘要
联邦学习（FL）通过在分布式客户端之间进行协作模型训练而无需共享原始数据，却在现实部署中因统计异构性而面临稳定性挑战。本文表明，客户端异构性主要通过扭曲客户端端优化中的局部梯度动力学来导致联邦学习不稳定，导致系统性漂移在通信轮次中累积，阻碍全局收敛。这一观察突出了局部梯度作为稳定异构FL系统的关键调节杠杆。基于这一洞见，我们开发了一种通用的客户端视角，通过无需额外通信开销来调节局部梯度贡献。受群体智慧启发，我们通过Exploratory--Convergent Gradient Re-aggregation（ECGR）实现了这一视角，该方法在保持信息性更新的同时抑制不稳定效应。理论分析和大量实验，包括在LC25000医学影像数据集上的评估，表明，调节局部梯度动力学在异构数据分布下稳定联邦学习方面始终如一地有效。
引用
@article{arxiv.2601.03584,
title = {Local Gradient Regulation Stabilizes Federated Learning under Client Heterogeneity},
author = {Ping Luo and Jiahuan Wang and Ziqing Wen and Tao Sun and Dongsheng Li},
journal= {arXiv preprint arXiv:2601.03584},
year = {2026}
}