面向通信高效联邦学习的局部补偿间歇拉取方法
机器学习
2020-01-24 v1 机器学习
摘要
联邦学习(Federated Learning)是一种强大的机器学习范式，可利用高度分布的数据协同训练全局模型。大规模联邦学习中分布式随机梯度下降(Stochastic Gradient Descent, SGD)算法性能的一个主要瓶颈是推送本地梯度和拉取全局模型所带来的通信开销。本文为降低联邦学习的通信复杂度，提出了一种名为局部补偿拉取缩减(Pulling Reduction with Local Compensation, PRLC)的新方法。具体而言，每个训练节点在 SGD 迭代中间歇地从服务器拉取全局模型，导致其有时与服务器不同步。在此情况下，它将使用本地更新来补偿本地模型与全局模型之间的差距。我们对 PRLC 的严格理论分析得出了两个重要发现。首先，我们证明了 PRLC 的收敛速率在强凸和非凸情形下均保持与经典同步 SGD 同阶，且由于相对于训练节点数量的线性加速而具有良好的可扩展性。其次，我们表明 PRLC 比现有的无局部补偿的拉取缩减方法具有更低的拉取频率。我们还在多种机器学习模型上进行了大量实验以验证理论结果。实验结果表明，我们的方法相比最先进的方法实现了显著的拉取缩减，例如 PRLC 仅需 LAG 一半的拉取操作。
引用
@article{arxiv.2001.08277,
title = {Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning},
author = {Haozhao Wang and Zhihao Qu and Song Guo and Xin Gao and Ruixuan Li and Baoliu Ye},
journal= {arXiv preprint arXiv:2001.08277},
year = {2020}
}