凸优化中二阶方法全局性能保证的改进
最优化与控制
2024-08-21 v1
摘要
本文试图比较二阶优化方法的两个不同研究分支。第一个分支研究自共轭函数和屏障，主要假设目标函数的三阶导数被二阶导数所界定。第二个分支研究三次正则化牛顿法 (CRNM)，主要假设二阶导数连续 Lipschitz。我们发展了一种针对一般自共轭函数的路径跟随方案 (PFS) 的新理论分析，与针对自共轭屏障的经典路径跟随方案不同。我们表明，该方案的复杂度界优于阻尼牛顿法 (DNM)，并指出该方法具有全局超线性收敛性。我们还提出了一种新的预测-校正路径跟随方案 (PCPFS)，进一步改进了最小化一般自共轭函数的复杂度保证中的常数因子。我们还将路径跟随方案应用于不同约束优化问题的不同类别，获得相应的复杂度界。最后，我们分析了一个重要的一般自共轭函数子类，即具有连续 Lipschitz 二阶导数的强凸函数类，指出对于该子类，CRNM 给出更好的复杂度界。
引用
@article{arxiv.2408.11022,
title = {Improved global performance guarantees of second-order methods in convex minimization},
author = {Pavel Dvurechensky and Yurii Nesterov},
journal= {arXiv preprint arXiv:2408.11022},
year = {2024}
}