SLowcal-SGD：慢查询点改进用于随机凸优化的局部 SGD
机器学习
2025-01-22 v2 最优化与控制
摘要
我们考虑分布式学习场景，其中 M 台机器与参数服务器在若干通信轮次中交互以最小化联合目标函数。聚焦于异构情况（不同机器可能从不同的数据分布中抽取样本），我们设计了第一种局部更新方法，该方法在理论上优于两个最突出的分布式基线：即 Minibatch-SGD 和 Local-SGD。我们方法的关键在于一种慢查询技术，我们针对分布式设置对其进行了定制，这反过来能够更好地缓解由局部更新引起的偏差。
引用
@article{arxiv.2304.04169,
title = {SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization},
author = {Tehila Dahan and Kfir Y. Levy},
journal= {arXiv preprint arXiv:2304.04169},
year = {2025}
}