局部估计全局扰动优于局部扰动：面向联邦锐度感知最小化
机器学习
2024-05-30 v1 分布式、并行与集群计算
摘要
在联邦学习中，多步更新和客户端数据异构性常常导致损失函数景观出现更锐利的最小值，从而劣化所生成全局模型的性能。常见的联邦方法通过引入锐度感知最小化(SAM)于局部训练中来缓解此问题。然而，局部损失函数景观可能不准确反映异构环境下全局损失函数景观的平坦性；因此，最小化局部锐度并在客户端数据上计算扰动，可能无法使联邦环境下的SAM效能与集中式训练保持一致。为克服此挑战，我们提出FedLESAM—a一种新型算法，在客户端侧局部估计全局扰动方向作为上一轮活跃模型与当前轮模型之间差值的方式。除了改进的质量，FedLESAM还由于每轮迭代仅进行一次反向传播而加速了基于联邦SAM的方法。理论上，我们通过确保扰动一致性，证明其原始FedSAM具有稍微 tighter 的界限。实验上，我们在四个联邦基准数据集下，以三种分区策略进行全面实验，展示FedLESAM在性能和效率上的优越性。
引用
@article{arxiv.2405.18890,
title = {Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization},
author = {Ziqing Fan and Shengchao Hu and Jiangchao Yao and Gang Niu and Ya Zhang and Masashi Sugiyama and Yanfeng Wang},
journal= {arXiv preprint arXiv:2405.18890},
year = {2024}
}