中文

约束非凸优化问题到二阶平稳点的收敛性

最优化与控制 2020-06-04 v2

摘要

我们考虑寻找约束非凸优化问题的近似二阶平稳点的问题。我们首先表明,与无约束优化的梯度下降法不同,即使仅存在单个线性约束,朴素投影梯度下降算法也可能收敛到严格鞍点。然后我们通过证明即使在存在线性约束的情况下,检验(ϵg,ϵH)(\epsilon_g,\epsilon_H)-二阶平稳性也是NP难的,给出了一个困难性结果。尽管有此困难性结果,我们仍识别出可以有效检验二阶平稳性的问题实例。对于此类实例,我们提出一种动态二阶Frank--Wolfe算法,该算法在O(max{ϵg2,ϵH3}){\mathcal{O}}(\max\{\epsilon_g^{-2}, \epsilon_H^{-3}\})次迭代内收敛到(ϵg,ϵH\epsilon_g, \epsilon_H)-二阶平稳点。所提算法可用于一般约束非凸优化,只要约束二次子问题可被高效求解。

关键词

引用

@article{arxiv.1810.02024,
  title  = {Convergence to Second-Order Stationarity for Constrained Non-Convex Optimization},
  author = {Maher Nouiehed and Jason D. Lee and Meisam Razaviyayn},
  journal= {arXiv preprint arXiv:1810.02024},
  year   = {2020}
}