“除非证明有罪方为凸”：非凸函数梯度下降的无维度加速
最优化与控制
2017-05-09 v1
摘要
我们开发并分析了 Nesterov 加速梯度下降 (AGD) 的一个变体，用于光滑非凸函数的最小化。我们证明了两种情况之一会发生：要么我们的 AGD 变体快速收敛，就像函数是凸的一样；要么我们生成一个证明函数“因非凸而有罪”的证书。这个非凸性证书使我们能够利用负曲率，为非凸函数获得确定性的、无维度的收敛加速。对于具有 Lipschitz 连续梯度和 Hessian 的函数 ，我们在 次梯度和函数评估中计算出满足 的点 。如果进一步假设三阶导数 Lipschitz 连续，则仅需 次评估。
引用
@article{arxiv.1705.02766,
title = {"Convex Until Proven Guilty": Dimension-Free Acceleration of Gradient Descent on Non-Convex Functions},
author = {Yair Carmon and Oliver Hinder and John C. Duchi and Aaron Sidford},
journal= {arXiv preprint arXiv:1705.02766},
year = {2017}
}