中文

FedSCAM(联邦锐度感知最小化 with Clustered Aggregation and Modulation):针对异构环境中鲁棒联邦优化的欺诈抗性SAM

机器学习 2026-01-06 v1 人工智能

摘要

联邦学习(FL)通过保护数据隐私的方式,在分布式边缘设备之间实现协作模型训练。然而,客户端之间统计异构性(通常表现为非独立同分布标签分布)对收敛性和泛化性构成重大挑战。虽然锐度感知最小化(SAM)已被引入联邦学习以寻求更平坦、更稳健的最小值,但现有方法通常在所有客户端上应用统一的扰动半径,忽略了客户端特定的异构性。在本工作中,我们提出FedSCAM(Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation),一种新型算法,基于客户端特定的异构性分数动态调整SAM扰动半径和聚合权重。通过计算每个客户端的异构性指标,并以该分数反比例调制扰动半径,FedSCAM可防止高方差客户端 destabilize全局模型。进一步,我们引入基于异构性的加权聚合机制,优先选择与全局优化方向一致的客户端更新。 在CIFAR-10和Fashion-MNIST上的大量实验表明,在各种Dirichlet分布-based标签偏斜程度下,FedSCAM在收敛速度和最终测试准确率方面,均在FedSAM、FedLESAM等最先进基线之中取得了具竞争力的性能。

关键词

引用

@article{arxiv.2601.00853,
  title  = {FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation): Scam-resistant SAM for Robust Federated Optimization in Heterogeneous Environments},
  author = {Sameer Rahil and Zain Abdullah Ahmad and Talha Asif},
  journal= {arXiv preprint arXiv:2601.00853},
  year   = {2026}
}

备注

13 pages, 27 figures