在分布式异步环境中驯服动量
机器学习
2020-10-15 v3 分布式、并行与集群计算
机器学习
摘要
尽管分布式计算能显著减少深度神经网络的训练时间，但在保持高效率与最终精度的同时扩展训练过程颇具挑战。分布式异步训练享有近线性加速比，但异步性导致梯度陈旧——这是将随机梯度下降扩展到大型集群的主要困难。动量常用于加速收敛与逃离局部极小，却加剧了梯度陈旧，从而阻碍收敛。我们提出DANA：一种用于带动量的异步分布式SGD的新技术，其通过在模型参数的估计未来位置上计算梯度来缓解梯度陈旧。由此，我们首次表明动量可被完全纳入异步训练，且对最终精度几乎无影响。我们在CIFAR与ImageNet数据集上的评估表明，DANA在最终精度与收敛速度上均优于现有方法，同时可在64个异步工作节点上扩展至16K的总批大小。
引用
@article{arxiv.1907.11612,
title = {Taming Momentum in a Distributed Asynchronous Environment},
author = {Ido Hakimi and Saar Barkai and Moshe Gabel and Assaf Schuster},
journal= {arXiv preprint arXiv:1907.11612},
year = {2020}
}