部分参与下过参数化神经网络的联邦平均收敛性
机器学习
2024-10-30 v3 机器学习
摘要
联邦学习 (FL) 是一种广泛采用的分布式范式，用于在多个客户端不共享本地数据的情况下协作训练机器学习模型。在实践中，由于有限带宽、间歇性连接和严格的同步延迟，FL 面临部分客户端参与的挑战。同时，在这一实际设定下鲜有理论收敛保证，尤其是当涉及神经网络的非凸优化时。为弥补此差距，我们关注两种典型模型的联邦平均 (FedAvg) 方法训练问题：深度线性网络和两层 ReLU 网络。在过参数化假设下，我们可证明地表明，经过 t 次迭代后 FedAvg 以线性速率 O((1−(min_{i∈[t]}|S_i|)/(N^2))^t) 收敛到全局最小值，其中 N 为客户端数量，|S_i| 为第 i 次迭代中参与的客户端数量。实验评估证实了我们的理论结果。
引用
@article{arxiv.2310.05495,
title = {On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks},
author = {Xin Liu and Wei li and Dazhi Zhan and Yu Pan and Xin Ma and Yu Ding and Zhisong Pan},
journal= {arXiv preprint arXiv:2310.05495},
year = {2024}
}
备注
The partial participation setting may incur some problems in deriving its convergence