Katalyst：以凸性Katayusha加速非凸大条件数问题

Zaiyi Chen; Yi Xu; Haoyuan Hu; Tianbao Yang

Katalyst：以凸性Katayusha加速非凸大条件数问题

最优化与控制 2019-03-12 v3

作者: Zaiyi Chen , Yi Xu , Haoyuan Hu , Tianbao Yang

摘要

本文提出一种新的SVRG风格的加速随机算法，用于求解一类非凸优化问题，其目标函数由 $n$ 个光滑函数之和与一个非光滑凸函数构成。我们的主要目标是在具有大条件数 $c$ （光滑常数与负曲率常数之比）的设置下，改进SVRG风格随机算法到驻点的收敛性。所提算法在 $c\geq \Omega(n)$ 时达到已知最佳的梯度复杂度，该复杂度此前由一种SAGA风格的加速随机算法取得。与SAGA风格的加速随机算法相比，所提算法因其继承自先前SVRG风格算法的低内存开销而更具实用性。与先前关于SVRG风格随机算法的研究相比，我们的理论在以下方面给出了更强的结果：(i) 在大条件数下降低了梯度复杂度；(ii) 收敛性是对以递增采样概率从所有阶段平均解中选出的采样阶段平均解证明的，而非对所有迭代中均匀采样的解证明的。

关键词

非凸优化随机算法 SVRG 条件数梯度复杂度驻点阶段平均

引用

@article{arxiv.1809.06754,
  title  = {Katalyst: Boosting Convex Katayusha for Non-Convex Problems with a Large Condition Number},
  author = {Zaiyi Chen and Yi Xu and Haoyuan Hu and Tianbao Yang},
  journal= {arXiv preprint arXiv:1809.06754},
  year   = {2019}
}

备注

correct some typos and miscounting constants

Katalyst：以凸性Katayusha加速非凸大条件数问题

摘要

关键词

引用

备注

相关论文