流式数据上增量聚合梯度方法的线性加速
最优化与控制
2023-09-12 v1 机器学习
摘要
本文考虑一类用于大规模分布式优化的增量聚合梯度（IAG）方法。IAG方法非常适用于参数服务器架构，因为后者可以轻松聚合各工作节点贡献的、可能已过时的梯度。尽管确定性梯度下IAG的收敛性已为人所知，但针对基于流式数据的随机变体，相关结果甚少。在强凸优化设定下，本文证明：即使各工作节点间的数据样本分布异构，只要工作节点更新足够频繁，流式IAG方法即可实现线性加速。我们证明，到最优解的期望平方距离以 O((1+T)/(nt)) 衰减，其中 为工作节点数，t 为迭代次数，T/n 为工作节点的更新频率。我们的分析涉及对含过时梯度的条件期望的细致处理，以及一个同时含延迟项与噪声项的递归系统，这些在IAG类算法的分析中尚属新颖。数值结果用以验证我们的发现。
引用
@article{arxiv.2309.04980,
title = {Linear Speedup of Incremental Aggregated Gradient Methods on Streaming Data},
author = {Xiaolu Wang and Cheng Jin and Hoi-To Wai and Yuantao Gu},
journal= {arXiv preprint arXiv:2309.04980},
year = {2023}
}
备注
8 pages, 3 figures