非凸二次极小化的一阶方法
最优化与控制
2020-08-17 v1
摘要
我们考虑带信赖域（范数）约束或三次正则化的不定二次型的极小化。尽管这些问题非凸，我们证明在温和假设下，梯度下降收敛到其全局解，并给出三次变体的非渐近收敛速率。我们还考虑Krylov子空间解，并建立到信赖域与三次正则化问题解的尖锐收敛保证。我们的速率反映了这些方法在凸二次型与特征向量问题上的行为，凸显其可扩展性。当我们使用Krylov子空间解来近似三次正则化牛顿步时，我们的结果恢复了已知的对一般光滑非凸函数近似二阶驻点的最强收敛保证。
引用
@article{arxiv.2003.04546,
title = {First-Order Methods for Nonconvex Quadratic Minimization},
author = {Yair Carmon and John C. Duchi},
journal= {arXiv preprint arXiv:2003.04546},
year = {2020}
}
备注
This is a SIAM Review preprint covering our papers "Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step" (SIOPT, 2019) and "Analysis of Krylov Subspace Solutions of Regularized Nonconvex Quadratic Problems" (NeurIPS, 2018); some materials in Section 6 are new