用于非凸非光滑优化的加速随机梯度下降的线性收敛
最优化与控制
2019-02-18 v2 机器学习
机器学习
摘要
在本文中，我们研究用于非凸非光滑优化的随机梯度下降（SGD）方法，并通过将方差缩减技术与 Nesterov 外推技术相结合，提出一种加速 SGD 方法。此外，基于局部误差界条件，我们建立了我们方法达到非凸优化驻点的线性收敛性。特别地，我们证明不仅生成的序列线性收敛到问题的驻点，而且相应的目标值序列也是线性收敛的。最后，一些数值实验证明了我们方法的有效性。据我们所知，首次证明了加速 SGD 方法线性收敛到非凸优化的局部极小值。
引用
@article{arxiv.1704.07953,
title = {Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization},
author = {Feihu Huang and Songcan Chen},
journal= {arXiv preprint arXiv:1704.07953},
year = {2019}
}
备注
This paper has been withdrawn by the author due to some errors in the proof of the convergence analysis. They will modify these errors as soon as possible