基于重要性加权剪枝的 Ring AllReduce 带宽缩减
机器学习
2019-01-08 v1 分布式、并行与集群计算
机器学习
摘要
在配备加速器系统的大规模集群上训练大型深度学习模型不可避免。深度梯度压缩可大幅提高带宽利用率并加速训练过程，但难以在环形结构上实现。本文中，我们发现冗余梯度与梯度陈旧性对训练有负面影响。我们观察到在不同轮次与不同步骤中，神经网络侧重于更新不同层与不同参数。为在环形结构上节省更多通信带宽并保持精度（这打破了随节点增加而受限的约束），我们提出一种新算法，基于参数计算梯度与参数值之比的大小，在采用环形 all-reduce 的大规模集群上度量梯度的重要性。我们的重要性加权剪枝方法在 ImageNet 上的 AlexNet 与 ResNet50 分别实现了 64 倍与 58.8 倍的梯度压缩比。同时，为维持梯度传播的稀疏性，我们在各节点上随机广播重要梯度的索引。其余节点则准备索引梯度并执行 all-reduce 更新。这将加速模型收敛并保持训练精度。
引用
@article{arxiv.1901.01544,
title = {Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce},
author = {Zehua Cheng and Zhenghua Xu},
journal= {arXiv preprint arXiv:1901.01544},
year = {2019}
}