稳定化SVRG：用于非凸优化的简单方差缩减方法
机器学习
2019-05-03 v1 最优化与控制
机器学习
摘要
像SVRG这样的方差缩减技术为优化凸有限和 objective(目标函数)提供了简单快速的算法。对于非凸目标，这些技术也能找到一阶驻点(梯度小)。然而，在非凸优化中，找到二阶驻点(梯度小且Hessian几乎半正定)通常至关重要。本文中，我们证明稳定化SVRG(SVRG的一个简单变体)仅使用个随机梯度即可找到-二阶驻点。据我们所知，这是对SVRG简单变体的首个二阶保证。其运行时间几乎与已知的寻找-一阶驻点的保证相匹配。
引用
@article{arxiv.1905.00529,
title = {Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization},
author = {Rong Ge and Zhize Li and Weiyao Wang and Xiang Wang},
journal= {arXiv preprint arXiv:1905.00529},
year = {2019}
}