面向数据并行 SGD 的自适应梯度量化
机器学习
2020-10-26 v1 机器学习
摘要
许多通信高效的 SGD 变体使用梯度量化方案。这些方案通常是启发式的，并在训练过程中固定不变。我们通过实验观察到，深度模型梯度的统计特性在训练期间会发生变化。受此观察启发，我们引入了两种自适应量化方案，ALQ 和 AMQ。在这两种方案中，处理器通过高效计算参数分布的充分统计量来并行更新其压缩方案。在具有挑战性的低成本通信设置下，我们在 CIFAR-10 上将验证准确率提高了近 2%，在 ImageNet 上提高了 1%。我们的自适应方法对超参数的选择也显著更具鲁棒性。
引用
@article{arxiv.2010.12460,
title = {Adaptive Gradient Quantization for Data-Parallel SGD},
author = {Fartash Faghri and Iman Tabrizian and Ilia Markov and Dan Alistarh and Daniel Roy and Ali Ramezani-Kebrya},
journal= {arXiv preprint arXiv:2010.12460},
year = {2020}
}
备注
Accepted at the conference on Neural Information Processing Systems (NeurIPS 2020)