局部误差界条件下立方正则化方法的二次收敛性
最优化与控制
2018-01-30 v1
摘要
本文考虑用于最小化二阶连续可微函数的立方正则化(CR)方法。虽然CR方法被广泛认为是具有更优迭代复杂度的牛顿法的全局收敛变体,但现有关于其局部二次收敛的结果需要严格的非退化条件。我们证明,在局部误差界(EB)条件下——该条件比现有的非退化条件弱得多——CR方法生成的迭代序列至少以Q-二次收敛到二阶临界点。这表明,添加立方正则化不仅赋予牛顿法显著的全局收敛性质,还使其即使在存在退化解时也能二次收敛。作为副产品,我们证明了在不假设凸性的情况下,所提出的EB条件等价于二次增长条件,这本身可能具有独立意义。为展示我们收敛性分析的有用性和相关性,我们聚焦于分别出现在相位恢复和低秩矩阵恢复中的两个具体非凸优化问题,并证明以压倒性概率,CR方法求解这两个问题生成的迭代序列至少以Q-二次收敛到全局极小点。我们还给出了CR方法应用于求解这两个问题的数值结果,以支持和补充我们的理论进展。
引用
@article{arxiv.1801.09387,
title = {On the Quadratic Convergence of the Cubic Regularization Method under a Local Error Bound Condition},
author = {Man-Chung Yue and Zirui Zhou and Anthony Man-Cho So},
journal= {arXiv preprint arXiv:1801.09387},
year = {2018}
}