基于梯度追踪的方差缩减分散式随机优化——第一部分：GT-SAGA
最优化与控制
2019-12-12 v3
摘要
本文研究分散式经验风险最小化问题，其目标是在节点网络上最小化一组有限和的光滑强凸函数。在本第一部分中，我们提出 \textbf{\texttt{GT-SAGA}}，一种基于梯度追踪 \cite{DSGT_Pu,DSGT_Xin} 和一种称为 SAGA \cite{SAGA} 的方差缩减技术的分散式随机一阶算法。我们给出了该算法的收敛性分析与迭代复杂度。我们进一步展示了各种权衡，并讨论了在所需局部梯度计算次数方面 \textbf{\texttt{GT-SAGA}} 相对于现有分散式方案取得更优性能的情形。在本文第二部分 \cite{GT_SVRG} 中，我们提出并分析了 \textbf{\texttt{GT-SVRG}}，一种基于分散式梯度追踪实现的 SVRG \cite{SVRG}（另一种著名的方差缩减技术）。
引用
@article{arxiv.1909.11774,
title = {Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking--Part I: GT-SAGA},
author = {Ran Xin and Usman A. Khan and Soummya Kar},
journal= {arXiv preprint arXiv:1909.11774},
year = {2019}
}