在分布式随机优化中利用 ProxSkip 实现线性加速
机器学习
2026-05-19 v5 最优化与控制
机器学习
摘要
用于分布式优化的 ProxSkip 算法因其在减少通信方面的有效性而受到越来越多的关注。然而，现有对 ProxSkip 的分析仅限于强凸设定，且未能实现关于节点数量的线性加速。关于其在非凸设定下的行为以及线性加速是否可达成等关键问题仍属开放。在本文中，我们重新审视去中心化 ProxSkip，并肯定地回答了这些问题。我们为随机非凸、凸和强凸问题提供了统一的收敛分析，揭示了梯度噪声、本地更新、网络连通性与数据异质性如何共同决定收敛行为。据我们所知，这是首个表明去中心化 ProxSkip 在随机梯度下实现关于节点数量的线性加速的分析。此外，我们的结果表明本地更新可有效降低通信频率并提升通信效率。
引用
@article{arxiv.2310.07983,
title = {Achieving Linear Speedup with ProxSkip in Distributed Stochastic Optimization},
author = {Luyao Guo and Sulaiman A. Alghunaim and Kun Yuan and Laurent Condat and Jinde Cao},
journal= {arXiv preprint arXiv:2310.07983},
year = {2026}
}