FedSWA：通过基于动量的随机控制权重平均改善高度异构数据联邦学习的泛化能力
机器学习
2026-04-21 v1 人工智能
摘要
对于 FedSAM 等联邦学习（FL）算法，其泛化能力对实际应用至关重要。本文重新审视了 FL 中的泛化问题，并研究了数据异构性对 FL 泛化能力的影响。我们发现，在高度异构数据的情况下，FedSAM 的表现通常比 FedAvg 差，因此提出了一种新颖且有效的基于随机权重平均的联邦学习算法（称为 \texttt{FedSWA}），旨在高度异构数据设定下寻找更平坦的极小值。此外，我们引入了一种新的基于动量的随机控制权重平均 FL 算法（\texttt{FedMoSWA}），旨在更好地对齐局部和全局模型。在理论上，我们为 \texttt{FedSWA} 和 \texttt{FedMoSWA} 提供了收敛性分析和泛化界限。我们还证明了 \texttt{FedMoSWA} 的优化和泛化误差小于其对应算法（包括 FedSAM 及其变体）。在实验上，在 CIFAR10/100 和 Tiny ImageNet 上的实验结果证明了所提算法相比对应算法的优越性。开源代码位于：https://github.com/junkangLiu0/FedSWA。
引用
@article{arxiv.2507.20016,
title = {FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging},
author = {Liu junkang and Yuanyuan Liu and Fanhua Shang and Hongying Liu and Jin Liu and Wei Feng},
journal= {arXiv preprint arXiv:2507.20016},
year = {2026}
}
备注
icml 2025