FedCluster：通过簇循环加速联邦学习收敛
机器学习
2024-03-07 v1 最优化与控制
机器学习
摘要
我们开发了 FedCluster——一种具有更高优化效率的新型联邦学习框架，并研究了其理论收敛性质。FedCluster 将设备分组为多个簇，在每个学习轮次中循环执行联邦学习。因此，FedCluster 的每个学习轮次包含多个元更新周期，从而加速整体收敛。在非凸优化中，我们表明在设备实现本地随机梯度下降 (SGD) 算法时，FedCluster 在存在设备级数据异质性的情况下比传统的联邦平均 (FedAvg) 算法实现更快的收敛速率。我们在深度学习应用上进行实验，并证明对于多种本地优化器，在不同程度的设备级数据异质性下，FedCluster 比传统联邦学习收敛显著更快。
引用
@article{arxiv.2009.10748,
title = {FedCluster: Boosting the Convergence of Federated Learning via Cluster-Cycling},
author = {Cheng Chen and Ziyi Chen and Yi Zhou and Bhavya Kailkhura},
journal= {arXiv preprint arXiv:2009.10748},
year = {2024}
}
备注
10 pages, 6 figures