SPAM：面向非凸跨设备联邦学习的带动量方差缩减的随机近端点方法
最优化与控制
2024-05-31 v1 机器学习
摘要
跨设备训练是联邦学习的一个关键子领域，其中客户端数量可达数十亿。标准方法和局部方法容易出现客户端漂移和对数据相似性不敏感等问题。我们提出了一种针对非凸损失跨设备联邦学习的新算法（SPAM），该算法解决了这两个问题。我们在二阶（Hessian）相似性下提供了尖锐的分析，这一条件在实践中被多种机器学习问题所满足。此外，我们将结果扩展到部分参与设置，其中选定的客户端群在每个通信轮次与服务器通信。我们的方法是同类方法中首个不需要目标函数光滑性且能证明从客户端具有相似数据中受益的方法。
引用
@article{arxiv.2405.20127,
title = {SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning},
author = {Avetik Karagulyan and Egor Shulgin and Abdurakhmon Sadiev and Peter Richtárik},
journal= {arXiv preprint arXiv:2405.20127},
year = {2024}
}
备注
The main part of the paper is around 9 pages. It contains the proposed algorithms, the main theoretical results and the experimental setting. The proofs of the main results and other technicalities are deferred to the Appendix