通信开销仅依赖于工作节点数量的局部SGD
最优化与控制
2020-06-05 v1 机器学习
机器学习
摘要
我们考虑通过在多个工作节点间并行化来加速随机梯度下降（SGD）。假设同一数据集在个工作节点间共享，这些节点可执行SGD步并与中心服务器协调。不幸的是，这可能在工作节点与服务器之间需要大量通信，从而大幅削弱并行化带来的收益。早期文献提出并分析的局部SGD（Local SGD）方法建议机器在此类通信之间执行多次本地步。虽然局部SGD的初步分析表明，为使误差按比例缩放，个本地梯度步需要次通信，但后续一系列论文相继改进了该结果，当前最优方法需要次通信。本文给出局部SGD的新分析。我们分析的一个结论是，局部SGD仅通过固定次数、与无关的通信即可实现按缩放的误差：具体而言，仅需次通信。
引用
@article{arxiv.2006.02582,
title = {Local SGD With a Communication Overhead Depending Only on the Number of Workers},
author = {Artin Spiridonoff and Alex Olshevsky and Ioannis Ch. Paschalidis},
journal= {arXiv preprint arXiv:2006.02582},
year = {2020}
}