面向弱异质性联邦学习的偏差-方差缩减局部 SGD
机器学习
2021-06-15 v2 最优化与控制
摘要
近年来,局部 SGD 在分布式学习领域受到广泛关注并被深入研究,以克服通信瓶颈问题。然而,局部 SGD 相对于小批量 SGD 的优越性仅在相当有限的情形下成立。本文研究一种用于非凸分布式优化的新局部算法,称为偏差-方差缩减局部 SGD(BVR-L-SGD)。在算法上,我们提出的偏差与方差缩减局部梯度估计器充分利用了局部目标的微小二阶异质性,并建议在工人同步时随机选取一个局部模型而非取它们的平均。在理论上,在局部目标弱异质性的条件下,我们证明 BVR-L-SGD 在温和条件下取得了优于先前非局部与局部方法的通信复杂度,特别地,BVR-L-SGD 是首个在异质性小且局部计算预算大时打破一般非凸光滑目标通信复杂度 壁垒的方法。数值结果用于验证理论发现并给出我们方法优越性的经验证据。
引用
@article{arxiv.2102.03198,
title = {Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning},
author = {Tomoya Murata and Taiji Suzuki},
journal= {arXiv preprint arXiv:2102.03198},
year = {2021}
}
备注
19 pages