约束优化中逃离鞍点

在本文中，我们研究在凸集 $\mathcal{C}$ 约束下的光滑非凸优化问题中逃离鞍点的问题。我们提出了一个通用框架，若凸集 $\mathcal{C}$ 对二次目标函数而言是简单的，则该框架可收敛到该问题的二阶平稳点。具体而言，若能在多项式时间内找到受限于 $\mathcal{C}$ 的二次规划的 $\rho$-近似解（其中 $\rho<1$ 为依赖于集合 $\mathcal{C}$ 结构的正常数），我们的结果即成立。在此条件下，我们证明所提框架生成的迭代序列至多经过 $\mathcal{O}(\max\{\epsilon^{-2},\rho^{-3}\gamma^{-3}\})$ 次迭代可达到 $(\epsilon,\gamma)$-二阶平稳点（SOSP）。我们进一步刻画了当凸集 $\mathcal{C}$ 可表示为一组二次约束且目标函数 Hessian 在凸集 $\mathcal{C}$ 上具有特定结构时，达到 SOSP 的总体复杂度。最后，我们将结果推广到随机设定，并刻画了达到 $(\epsilon,\gamma)$-SOSP 所需的随机梯度与 Hessian 计算次数。