Mime:在联邦学习中模拟集中式随机算法
机器学习
2021-06-09 v2 分布式、并行与集群计算
最优化与控制
机器学习
摘要
联邦学习(FL)由于不同客户端间数据的异质性导致客户端漂移现象,是一种极具挑战的优化设定。事实上,迄今为止,获得一种一致优于简单集中式训练的 FL 算法一直是一个主要开放问题。本工作中,我们提出一个通用算法框架 Mime,其 i) 缓解客户端漂移,ii) 将动量、Adam 等任意集中式优化算法适配到跨设备联邦学习设定中。Mime 在每个客户端更新步骤中结合控制变量与服务器级统计量(如动量),以确保每次局部更新都模拟在 iid 数据上运行的集中式方法。我们证明了一个归约结果,表明 Mime 能将集中式设定下通用算法的收敛性转化为联邦设定下的收敛性。进一步,我们展示当与基于动量的方差缩减结合时,Mime 在理论上快于任何集中式方法——这是首个此类结果。我们还对 Mime 在真实世界数据集上的性能进行了详尽的实验探索。
引用
@article{arxiv.2008.03606,
title = {Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning},
author = {Sai Praneeth Karimireddy and Martin Jaggi and Satyen Kale and Mehryar Mohri and Sashank J. Reddi and Sebastian U. Stich and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:2008.03606},
year = {2021}
}
备注
Version 2 provides stronger theoretical results and more thorough experiments