具有局部更新的分布式自适应优化的收敛性
机器学习
2025-02-13 v2 最优化与控制
摘要
我们研究具有局部更新（间歇通信）的分布式自适应算法。尽管自适应方法在现代机器学习模型的分布式训练中取得了巨大的经验成功，但局部更新在自适应方法中的理论优势，特别是在降低通信复杂度方面的优势，尚未被完全理解。在本文中，我们首次证明了带动量的 Local SGD（Local SGDM）和 Local Adam 在特定情形下，分别在凸和弱凸设置中可以超越它们对应的小批量算法。我们的分析依赖于一种新颖的技术来证明局部迭代过程中的收缩性，这是展示局部更新优势的关键且具有挑战性的步骤，该分析在广义平滑假设和梯度裁剪策略下进行。
引用
@article{arxiv.2409.13155,
title = {Convergence of Distributed Adaptive Optimization with Local Updates},
author = {Ziheng Cheng and Margalit Glasgow},
journal= {arXiv preprint arXiv:2409.13155},
year = {2025}
}