方差缩减的分散随机优化与梯度跟踪——第二部分：GT-SVRG
最优化与控制
2019-12-12 v2 机器学习
摘要
分散随机优化近来受益于梯度跟踪方法 \cite{DSGT_Pu,DSGT_Xin}，为大规模经验风险最小化问题提供了高效解。在本工作的第一部分 \cite{GT_SAGA} 中，我们开发了基于 SAGA \cite{SAGA} 分散实现的 \textbf{\texttt{GT-SAGA}} 并利用梯度跟踪，讨论了 \textbf{\texttt{GT-SAGA}} 在总局部梯度计算次数上优于现有分散方法的实际感兴趣情形。本文中，我们描述 \textbf{\texttt{GT-SVRG}}，其开发了基于分散梯度跟踪的 SVRG \cite{SVRG}（另一知名方差缩减技术）实现。我们证明对于光滑强凸函数，\textbf{\texttt{GT-SVRG}} 的收敛速率与 \textbf{\texttt{GT-SAGA}} 匹配，并凸显两算法在不同设定下的不同权衡。
引用
@article{arxiv.1910.04057,
title = {Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking -- Part II: GT-SVRG},
author = {Ran Xin and Usman A. Khan and Soummya Kar},
journal= {arXiv preprint arXiv:1910.04057},
year = {2019}
}
备注
arXiv admin note: text overlap with arXiv:1909.11774