SCAFFOLD：面向联邦学习的随机控制平均算法
机器学习
2021-04-12 v4 分布式、并行与集群计算
最优化与控制
机器学习
摘要
联邦平均（FedAvg）因其简单性和低通信成本已成为联邦学习的首选算法。然而，尽管近期研究不断，其性能尚未被完全理解。我们给出了 FedAvg 的紧致收敛速率，并证明其在数据异构（非独立同分布）时遭受“客户端漂移”（client-drift），导致收敛不稳定且缓慢。作为解决方案，我们提出一种新算法（SCAFFOLD），利用控制变量（方差缩减）来修正其本地更新中的“客户端漂移”。我们证明 SCAFFOLD 所需的通信轮数显著更少，且不受数据异构或客户端采样的影响。进一步，我们表明（对于二次型）SCAFFOLD 可利用客户端数据的相似性从而实现更快收敛。后者是首个量化分布式优化中本地步长有用性的结果。
引用
@article{arxiv.1910.06378,
title = {SCAFFOLD: Stochastic Controlled Averaging for Federated Learning},
author = {Sai Praneeth Karimireddy and Satyen Kale and Mehryar Mohri and Sashank J. Reddi and Sebastian U. Stich and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:1910.06378},
year = {2021}
}
备注
v2 contains analysis of FedAvg, non-convex rates of Scaffold, and experimental evaluation. v3 fixes typos, ICML version. v4 slightly improves rate of SCAFFOLD for general convex functions