去中心化算法能否超越中心化算法？以去中心化并行随机梯度下降为例
最优化与控制
2017-09-12 v5 分布式、并行与集群计算
机器学习
机器学习
摘要
如今大多数分布式机器学习系统，包括TensorFlow和CNTK，均采用中心化方式构建。中心化算法的一个瓶颈在于中心节点的高通信代价。受此启发，我们提出疑问：去中心化算法能否比其中心化对应算法更快？尽管控制领域已对去中心化PSGD（D-PSGD）算法进行了研究，但现有分析和理论并未显示出其相对于中心化PSGD（C-PSGD）算法的任何优势，仅简单假设了仅有去中心化网络可用的应用场景。本文研究了一种D-PSGD算法，并首次提供了理论分析，指出了在分布式随机梯度下降中，去中心化算法可能优于中心化算法的一种情形。这是因为D-PSGD的总计算复杂度与C-PSGD相当，但在最繁忙节点上所需的通信代价却低得多。我们进一步进行了实证研究，在多个框架（CNTK和Torch）、不同网络配置以及多达112个GPU的计算平台上验证了我们的理论分析。在低带宽或高延迟的网络配置下，D-PSGD的速度可比其经过高度优化的中心化对应算法快一个数量级。
引用
@article{arxiv.1705.09056,
title = {Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent},
author = {Xiangru Lian and Ce Zhang and Huan Zhang and Cho-Jui Hsieh and Wei Zhang and Ji Liu},
journal= {arXiv preprint arXiv:1705.09056},
year = {2017}
}