面向通信高效分布式学习的量化 Epoch-SGD
机器学习
2019-01-11 v1 最优化与控制
机器学习
摘要
由于其高效性与易实现性，随机梯度下降（SGD）已被广泛应用于机器学习。特别地，SGD 是分布式学习中最流行的优化方法之一。近年来，采用量化以降低基于 SGD 的分布式学习中通信成本的量化 SGD（QSGD）备受关注。尽管已提出若干 QSGD 方法，其中一些缺乏理论保证而属启发式，另一些则具有较高量化方差导致收敛缓慢。本文提出一种称为量化 Epoch-SGD（QESGD）的新方法，用于通信高效的分布式学习。QESGD 通过方差缩减对参数进行压缩（量化），从而能以更低的通信成本获得与 SGD 几乎相同的性能。QESGD 在 Parameter Server 框架下实现，分布式深度学习的实验结果表明 QESGD 可优于其他最先进的量化方法并取得最佳性能。
引用
@article{arxiv.1901.03040,
title = {Quantized Epoch-SGD for Communication-Efficient Distributed Learning},
author = {Shen-Yi Zhao and Hao Gao and Wu-Jun Li},
journal= {arXiv preprint arXiv:1901.03040},
year = {2019}
}