用于去中心化训练的带动量的周期性随机梯度下降
机器学习
2020-08-25 v1 机器学习
摘要
近年来，去中心化训练得到了积极研究。尽管已提出多种方法，但去中心化动量SGD方法仍鲜有探索。本文提出一种新颖的周期性去中心化动量SGD方法，该方法采用动量机制与周期性通信来进行去中心化训练。由于这两种策略以及去中心化训练系统的拓扑结构，我们所提方法的理论收敛性分析较为困难。我们解决了这一挑战性问题，并给出了所提方法能针对worker数量实现线性加速的条件。此外，我们还引入了一种通信高效变体，以降低每轮通信的通信开销，并同样给出了该变体实现线性加速的条件。据我们所知，这两种方法均是在各自对应领域中取得上述理论结果的首次尝试。我们进行了大量实验来验证所提两种方法的性能，二者均展现出优于现有方法的性能。
引用
@article{arxiv.2008.10435,
title = {Periodic Stochastic Gradient Descent with Momentum for Decentralized Training},
author = {Hongchang Gao and Heng Huang},
journal= {arXiv preprint arXiv:2008.10435},
year = {2020}
}