局部SGD在间歇通信分布式异构学习中的局限与潜力
机器学习
2024-05-21 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
局部SGD是分布式学习中一种流行的优化方法，在实践中通常优于其他算法，包括小批量SGD。尽管取得了成功，但在数据异构性合理的设置中从理论上证明局部SGD的优势一直很困难，造成了理论与实践的显著差距。在本文中，我们针对现有的一阶数据异构性假设给出了局部SGD的新下界，表明这些假设不足以证明局部更新步骤的有效性。此外，在相同假设下，我们证明了加速小批量SGD的极小极大最优性，这完全解决了我们对若干问题类别的分布式优化的理解。我们的结果强调了需要更好的数据异构性模型来理解局部SGD在实践中的有效性。为此，我们考虑了高阶光滑性和异构性假设，给出了新的上界，表明当数据异构性较低时，局部SGD优于小批量SGD。
引用
@article{arxiv.2405.11667,
title = {The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication},
author = {Kumar Kshitij Patel and Margalit Glasgow and Ali Zindari and Lingxiao Wang and Sebastian U. Stich and Ziheng Cheng and Nirmit Joshi and Nathan Srebro},
journal= {arXiv preprint arXiv:2405.11667},
year = {2024}
}