联邦加速随机梯度下降
机器学习
2021-06-08 v4 分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们提出联邦加速随机梯度下降（FedAc），一种对联邦平均（FedAvg，亦称 Local SGD）用于分布式优化的原则性加速。FedAc 是首个可证明加速 FedAvg 的方法，在各类凸函数上改善收敛速度与通信效率。例如，对于强凸且光滑函数，当使用 个工人时，先前最优的 FedAvg 分析若给定 轮同步可达到 的线性加速，而 FedAc 仅需 轮。此外，当目标为三阶光滑时，我们证明 FedAc 具有更强的保证。我们的技术基于基于势的扰动迭代分析、广义加速 SGD 的新颖稳定性分析，以及加速与稳定性之间的策略性权衡。
引用
@article{arxiv.2006.08950,
title = {Federated Accelerated Stochastic Gradient Descent},
author = {Honglin Yuan and Tengyu Ma},
journal= {arXiv preprint arXiv:2006.08950},
year = {2021}
}
备注
Accepted to NeurIPS 2020. Best paper in International Workshop on Federated Learning for User Privacy and Data Confidentiality in Conjunction with ICML 2020 (FL-ICML'20). Code repository see https://github.com/hongliny/FedAc-NeurIPS20