弹性分布式训练的动态小批量SGD：在资源困境中学习
机器学习
2019-05-03 v2 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
随着深度学习算法对训练能力需求的增加以及数据中心计算资源的快速增长，动态调度不同的分布式深度学习任务以最大化资源利用率和降低成本变得可取。在这个过程中，不同任务可能在不同时间接收到不同数量的机器，这种设置我们称为弹性分布式训练。尽管最近在大批量分布式训练方面取得了成功，但这些方法在弹性分布式训练环境中很少被测试，并且在我们实验中，当我们立即根据批量大小线性调整学习率时，性能下降。我们观察到的一个困难是，随机动量估计中的噪声会随时间累积，并在批量大小变化时产生延迟影响。因此，我们建议随时间平滑调整学习率，以减轻噪声动量估计的影响。我们在图像分类、目标检测和语义分割上的实验表明，我们提出的动态SGD方法在GPU数量从8到128变化时实现了稳定的性能。我们还提供了关于线性学习率调度最优性和随机动量影响的理论理解。
引用
@article{arxiv.1904.12043,
title = {Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources},
author = {Haibin Lin and Hang Zhang and Yifei Ma and Tong He and Zhi Zhang and Sheng Zha and Mu Li},
journal= {arXiv preprint arXiv:1904.12043},
year = {2019}
}