约束非凸优化问题到二阶平稳点的收敛性
最优化与控制
2020-06-04 v2
摘要
我们考虑寻找约束非凸优化问题的近似二阶平稳点的问题。我们首先表明,与无约束优化的梯度下降法不同,即使仅存在单个线性约束,朴素投影梯度下降算法也可能收敛到严格鞍点。然后我们通过证明即使在存在线性约束的情况下,检验-二阶平稳性也是NP难的,给出了一个困难性结果。尽管有此困难性结果,我们仍识别出可以有效检验二阶平稳性的问题实例。对于此类实例,我们提出一种动态二阶Frank--Wolfe算法,该算法在次迭代内收敛到()-二阶平稳点。所提算法可用于一般约束非凸优化,只要约束二次子问题可被高效求解。
引用
@article{arxiv.1810.02024,
title = {Convergence to Second-Order Stationarity for Constrained Non-Convex Optimization},
author = {Maher Nouiehed and Jason D. Lee and Meisam Razaviyayn},
journal= {arXiv preprint arXiv:1810.02024},
year = {2020}
}