通信高效分布式训练的最优梯度量化条件
机器学习
2020-02-26 v1 分布式、并行与集群计算
机器学习
摘要
在计算机视觉应用中，使用多设备训练深度神经网络的梯度通信代价高昂。特别是，深度学习模型规模的不断增长导致更高的通信开销，违背了关于设备数量的理想线性训练加速。梯度量化是降低通信成本的常用方法之一。然而，它可能带来训练中的量化误差并导致模型性能下降。在本工作中，我们推导了针对\textbf{任意}梯度分布的二值与多级梯度量化的最优条件。基于该最优条件，我们提出了两种新颖的量化方案：用于二值梯度量化的有偏BinGrad与用于多级梯度量化的无偏ORQ，它们动态确定最优量化水平。在CIFAR与ImageNet数据集上采用多个流行卷积神经网络的大量实验结果展现了我们所提方法的优越性。
引用
@article{arxiv.2002.11082,
title = {Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training},
author = {An Xu and Zhouyuan Huo and Heng Huang},
journal= {arXiv preprint arXiv:2002.11082},
year = {2020}
}