增强去中心化随机凸优化中的并行性
机器学习
2025-06-03 v1 机器学习
摘要
去中心化学习已成为一种强大的方法，能够以通信高效的方式跨多台机器处理大规模数据集。然而，此类方法通常面临可扩展性限制，因为将机器数量增加到超过某一点会对收敛速率产生负面影响。在这项工作中，我们提出了 Decentralized Anytime SGD，一种新颖的去中心化学习算法，该算法显著扩展了临界并行阈值，使得能够有效利用更多机器而不影响性能。在随机凸优化 (SCO) 框架内，我们建立了一个超越当前最先进水平的并行性理论上界，允许更大的网络实现良好的统计保证，并缩小了在高度连通拓扑中与集中式学习的差距。
引用
@article{arxiv.2506.00961,
title = {Enhancing Parallelism in Decentralized Stochastic Convex Optimization},
author = {Ofri Eisen and Ron Dorfman and Kfir Y. Levy},
journal= {arXiv preprint arXiv:2506.00961},
year = {2025}
}
备注
ICML 2025