随机次梯度法在弱凸函数上以 $O(k^{-1/4})$ 的速率收敛
最优化与控制
2018-02-21 v3 机器学习
摘要
我们证明，应用于弱凸问题的近端随机次梯度法以 的速率将 Moreau 包络的梯度驱至零。由此，我们解决了一个关于近端随机梯度法在最小化光滑非凸函数与凸可近端函数之和时的收敛速率的公开问题。
引用
@article{arxiv.1802.02988,
title = {Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions},
author = {Damek Davis and Dmitriy Drusvyatskiy},
journal= {arXiv preprint arXiv:1802.02988},
year = {2018}
}
备注
12 pages