DC-S3GD：用于大规模去中心化神经网络训练的延迟补偿陈旧同步SGD
机器学习
2019-11-07 v1 分布式、并行与集群计算
机器学习
摘要
数据并行已成为在多处理单元上训练深度神经网络的事实标准。在本工作中，我们提出 DC-S3GD，一种去中心化（无参数服务器）的延迟补偿异步随机梯度下降（DC-ASGD）算法的陈旧同步版本。在我们的方法中，我们允许计算与通信重叠，并通过梯度的一阶校正来补偿固有误差。我们通过以大批量训练卷积神经网络并取得最先进结果，证明了我们方法的有效性。
引用
@article{arxiv.1911.02516,
title = {DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training},
author = {Alessandro Rigazzi},
journal= {arXiv preprint arXiv:1911.02516},
year = {2019}
}