NUQSGD：通过非均匀量化实现可证明通信高效的数据并行 SGD
机器学习
2021-05-24 v2 机器学习
摘要
随着模型和数据集的规模与复杂度增长，对可用于并行模型训练的通信高效随机梯度下降变体的需求也在增长。数据并行 SGD 的一种流行通信压缩方法是 QSGD（Alistarh 等人，2017），它对梯度进行量化和编码以降低通信成本。QSGD 的基线变体提供了很强的理论保证，然而出于实用目的，作者提出了一种我们称之为 QSGDinf 的启发式变体，其在大型神经网络分布式训练中展现了令人印象深刻的经验收益。在本文中，我们基于该工作提出一种新的梯度量化方案，并表明它比 QSGD 具有更强的理论保证，且匹配并超越了 QSGDinf 启发式以及其他压缩方法的经验性能。
引用
@article{arxiv.1908.06077,
title = {NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization},
author = {Ali Ramezani-Kebrya and Fartash Faghri and Ilya Markov and Vitalii Aksenov and Dan Alistarh and Daniel M. Roy},
journal= {arXiv preprint arXiv:1908.06077},
year = {2021}
}
备注
42 pages, 21 figures. To appear in the Journal of Machine Learning Research (JMLR)