通过动量梯度下降加速联邦学习
机器学习
2019-10-10 v2 机器学习
摘要
联邦学习（FL）提供了一种通信高效的方法来解决涉及分布式数据的机器学习问题，而无需将原始数据发送至中心服务器。然而，现有关于 FL 的工作仅利用一阶梯度下降（GD），未考虑对梯度更新有潜在加速作用的前序迭代。在本文中，我们考虑与上次迭代相关的动量项。所提出的动量联邦学习（MFL）在 FL 系统的本地更新步骤中使用动量梯度下降（MGD）。我们建立了 MFL 的全局收敛性质，并推导了 MFL 收敛速率的上界。通过比较 MFL 与 FL 收敛速率的上界，我们给出了 MFL 加速收敛的条件。针对不同机器学习模型，基于 MNIST 数据集的实验评估了 MFL 的收敛性能。仿真结果证实了 MFL 的全局收敛性，并进一步揭示了相较 FL 的显著收敛改进。
引用
@article{arxiv.1910.03197,
title = {Accelerating Federated Learning via Momentum Gradient Descent},
author = {Wei Liu and Li Chen and Yunfei Chen and Wenyi Zhang},
journal= {arXiv preprint arXiv:1910.03197},
year = {2019}
}
备注
18 pages, 7 figures