去个性化联邦学习：通过交替随机梯度下降应对统计异质性
机器学习
2022-11-01 v3
摘要
联邦学习（FL）近年来受到越来越多的关注，它使分布式设备能够在不共享数据的情况下协同训练一个通用的机器学习（ML）模型以进行智能推理。然而，实际网络中的问题（如非独立同分布（non-iid）原始数据与有限带宽）导致 FL 训练过程收敛缓慢且不稳定。为解决这些问题，我们提出一种新的 FL 方法，可通过去个性化机制显著缓解统计异质性。具体而言，我们通过交替随机梯度下降解耦全局与局部优化目标，从而减少局部更新阶段累积的方差以加速 FL 收敛。随后我们详细分析了所提方法，表明其在一般非凸设定下以次线性速度收敛。最后，在公开数据集上进行了数值实验以验证所提方法的有效性。
引用
@article{arxiv.2210.03444,
title = {Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent},
author = {Yujie Zhou and Zhidu Li and Tong Tang and Ruyan Wang},
journal= {arXiv preprint arXiv:2210.03444},
year = {2022}
}