外推(随机)梯度下降在非凸优化中的收敛性
最优化与控制
2019-02-06 v2
摘要
外推是求解凸优化与变分不等式的一种著名技术，近来在非凸优化中也引起了一些关注。近期的若干工作已在经验上展示了其在某些机器学习任务中的成功。然而，针对非凸最小化问题尚未有分析，理论与实际之间仍存在差距。本文中，我们分析了带外推的梯度下降与随机梯度下降，用于在不光滑非凸优化问题中寻找近似一阶驻点。我们的收敛上界表明，带外推的算法相比不带外推的算法可获得加速。
引用
@article{arxiv.1901.10682,
title = {On the Convergence of (Stochastic) Gradient Descent with Extrapolation for Non-Convex Optimization},
author = {Yi Xu and Zhuoning Yuan and Sen Yang and Rong Jin and Tianbao Yang},
journal= {arXiv preprint arXiv:1901.10682},
year = {2019}
}