CSER：带误差重置的通信高效 SGD
机器学习
2020-12-08 v3 分布式、并行与集群计算
机器学习
摘要
分布式随机梯度下降（SGD）的可扩展性如今受限于通信瓶颈。我们提出一种新颖的 SGD 变体：带误差重置的通信高效 SGD，即 CSER。CSER 的核心思想首先是一种称为“误差重置”的新技术，该技术使任意压缩器适配于 SGD，生成分叉的局部模型并周期性重置由此产生的局部残差误差。其次，我们针对梯度和模型引入部分同步，充分利用二者优势。我们证明了 CSER 在光滑非凸问题上的收敛性。实证结果表明，当与高度激进的压缩器结合时，CSER 算法在 CIFAR-100 上使分布式训练加速近 10 倍，在 ImageNet 上加速 4.5 倍。
引用
@article{arxiv.2007.13221,
title = {CSER: Communication-efficient SGD with Error Reset},
author = {Cong Xie and Shuai Zheng and Oluwasanmi Koyejo and Indranil Gupta and Mu Li and Haibin Lin},
journal= {arXiv preprint arXiv:2007.13221},
year = {2020}
}