异步 SGD 在任意延迟下优于小批量 SGD
最优化与控制
2023-04-21 v2 分布式、并行与集群计算
机器学习
摘要
现有的异步随机梯度下降（SGD）分析在任何延迟较大时急剧退化，给人以性能主要取决于延迟的印象。相反，我们证明了同一异步 SGD 算法在梯度延迟无关的情况下具有好得多的保证，而仅依赖于用于实现该算法的并行设备数量。我们的保证严格优于现有分析，并且我们认为在我们所考虑的设置下异步 SGD 优于同步小批量 SGD。对于我们的分析，我们引入了一种基于“虚拟迭代”和延迟自适应步长的新型递推，这使我们能够为凸和非凸目标推导最先进的保证。
引用
@article{arxiv.2206.07638,
title = {Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays},
author = {Konstantin Mishchenko and Francis Bach and Mathieu Even and Blake Woodworth},
journal= {arXiv preprint arXiv:2206.07638},
year = {2023}
}