分布式在线随机凸优化的增强梯度跟踪界
最优化与控制
2023-01-10 v1
摘要
基于梯度跟踪（GT）的去中心化方法在求解分布式在线随机优化问题时，已成为去中心化（随机）梯度下降（DSGD）的一种有效且可行的替代方法。对 GT 方法的初始研究暗示 GT 方法具有比 DSGD 更差的网络依赖速率，这与实验结果矛盾。这一困境近来已被解决，并且建立了更紧的 GT 方法速率，其优于 DSGD。在这项工作中，我们在在线随机凸设定下为 GT 方法建立了更强的速率。我们提出了一种用于分析凸问题和静态图上 GT 方法的替代方法。与先前的分析相比，该方法使我们能够建立增强的网络依赖速率。
引用
@article{arxiv.2301.02855,
title = {An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization},
author = {Sulaiman A. Alghunaim and Kun Yuan},
journal= {arXiv preprint arXiv:2301.02855},
year = {2023}
}