Shadowheart SGD：在任意计算与通信异构性下具有最优时间复杂度的分布式异步 SGD
最优化与控制
2024-11-05 v2 机器学习
摘要
我们考虑异步中心化分布式设置下的非凸随机优化问题，其中从工作节点到服务器的通信时间不可忽略，且所有工作节点的计算时间和通信时间可能各不相同。利用无偏压缩技术，我们开发了一种新方法——Shadowheart SGD，该方法可证明地优于所有先前中心化方法的时间复杂度。此外，我们证明了 Shadowheart SGD 的时间复杂度在具有压缩通信的中心化方法族中是最优的。我们还考虑了双向设置，其中从服务器到工作节点的广播不可忽略，并开发了相应的方法。
引用
@article{arxiv.2402.04785,
title = {Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity},
author = {Alexander Tyurin and Marta Pozzi and Ivan Ilin and Peter Richtárik},
journal= {arXiv preprint arXiv:2402.04785},
year = {2024}
}