用于分布式训练通信削减的嵌套抖动量化
分布式、并行与集群计算
2019-04-03 v1
摘要
在分布式训练中,由于传输深度模型的梯度或参数所产生的通信成本是扩大处理节点数量的主要瓶颈。为解决此问题,我们提出用于随机梯度传输的抖动量化(dithered quantization),并表明使用抖动量化随机梯度(DQSG)训练与使用未量化 SG 训练相似,仅受独立有界均匀噪声扰动,而其他量化方法的扰动依赖于梯度,因而使收敛分析复杂化。我们研究了使用 DQSG 的训练算法收敛性以及量化级数数量与训练时间之间的权衡。接着,我们观察到各 worker 计算的 SG 之间存在相关性,可利用该相关性进一步降低通信开销而不损失性能。因此,我们开发了一种简单而有效的量化方案——嵌套抖动量化 SG(NDQSG),可显著减少通信,且无需 worker 之间额外通信信息。我们证明,尽管 NDQSG 所需比特数显著更少,却能达到与 DQSG 相同的量化方差界。我们的仿真结果证实了使用 DQSG 与 NDQSG 训练在减少通信比特数或收敛时间方面相对于现有方法的有效性,且不牺牲所训练模型的精度。
引用
@article{arxiv.1904.01197,
title = {Nested Dithered Quantization for Communication Reduction in Distributed Training},
author = {Afshin Abdi and Faramarz Fekri},
journal= {arXiv preprint arXiv:1904.01197},
year = {2019}
}