误差补偿的分布式 SGD 可被加速
最优化与控制
2020-10-02 v1
摘要
梯度压缩是近年来日益流行的一种技术，用于降低大规模机器学习模型分布式训练中的通信开销。本文致力于开发高效的分布式方法，可适用于任何满足特定收缩性质的压缩器，包括无偏（经适当缩放后）与有偏压缩器，如 RandK 与 TopK。若朴素地应用，梯度压缩会引入误差，从而减慢收敛或导致发散。为此设计的一种流行技术是误差补偿/误差反馈。由于分析有偏压缩器存在困难，目前尚不清楚带误差补偿的梯度压缩能否与 Nesterov 加速相结合。本文首次证明误差补偿的梯度压缩方法可被加速。具体而言，我们提出并研究了误差补偿的无循环 Katyusha 方法，并在标准假设下建立了加速的线性收敛速率。数值实验表明，所提方法较以往的误差补偿算法在通信轮数上大幅减少。
引用
@article{arxiv.2010.00091,
title = {Error Compensated Distributed SGD Can Be Accelerated},
author = {Xun Qian and Peter Richtárik and Tong Zhang},
journal= {arXiv preprint arXiv:2010.00091},
year = {2020}
}
备注
24 pages, 6 figures