揭示局部聚合为何有效：分层 SGD 的收敛性分析
机器学习
2024-04-12 v4 分布式、并行与集群计算
信息论
math.IT
最优化与控制
摘要
分层 SGD（H-SGD）已成为一种面向多级通信网络的新型分布式 SGD 算法。在 H-SGD 中，在每次全局聚合之前，工作节点将其更新的局部模型发送给局部服务器进行聚合。尽管已有近期研究努力，局部聚合对全局收敛的影响仍缺乏理论理解。在本工作中，我们首先引入“向上”与“向下”散度的新概念。然后利用它进行一种新颖的分析，得到具有非 IID 数据、非凸目标函数和随机梯度的两级 H-SGD 的最坏情况收敛上界。通过将此结果推广到随机分组的情况，我们观察到 H-SGD 的这一收敛上界介于两种单级局部 SGD 设置的上界之间，其局部迭代次数分别等于 H-SGD 中的局部和全局更新周期。我们称之为“三明治行为”。此外，我们将基于“向上”和“向下”散度的分析方法推广到研究多于两级的一般 H-SGD 情形的收敛性，其中“三明治行为”仍然成立。我们的理论结果为局部聚合为何有益于改善 H-SGD 收敛性提供了关键见解。
引用
@article{arxiv.2010.12998,
title = {Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD},
author = {Jiayi Wang and Shiqiang Wang and Rong-Rong Chen and Mingyue Ji},
journal= {arXiv preprint arXiv:2010.12998},
year = {2024}
}
备注
36 pages, in AAAI 2022