NUQSGD：通过非均匀量化实现可证明通信高效的数据并行 SGD
机器学习
2021-05-05 v2 最优化与控制
机器学习
摘要
随着模型与数据集规模和复杂度的增长，对可部署用于并行模型训练的通信高效随机梯度下降变体的需求也在增加。数据并行 SGD 的一种流行通信压缩方法是 QSGD（Alistarh 等，2017），其通过量化与编码梯度来降低通信成本。QSGD 的基线变体提供了较强的理论保证，然而出于实用目的，作者提出了一种启发式变体，我们称之为 QSGDinf，其在大型神经网络分布式训练中展现了令人印象深刻的经验收益。在本文中，我们基于该工作提出一种新的梯度量化方案，并表明其相比 QSGD 具有更强的理论保证，且匹配并超越了 QSGDinf 启发式及其他压缩方法的经验性能。
引用
@article{arxiv.2104.13818,
title = {NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization},
author = {Ali Ramezani-Kebrya and Fartash Faghri and Ilya Markov and Vitalii Aksenov and Dan Alistarh and Daniel M. Roy},
journal= {arXiv preprint arXiv:2104.13818},
year = {2021}
}
备注
This entry is redundant and was created in error. See arXiv:1908.06077 for the latest version