用于凸优化的非精确且可实现的加速牛顿近端外梯度法
最优化与控制
2024-02-20 v1
摘要
本文研究了在使用非精确Hessian信息时加速牛顿近端外梯度（A-NPE）方法的收敛行为。精确的A-NPE方法是首个近最优的二阶方法，在凸优化中展现出的预言复杂度。尽管其理论最优性，但其非精确版本和高效实现尚未得到足够关注。我们引入了非精确A-NPE方法（IA-NPE），并证明其保持了近最优的预言复杂度。特别地，我们设计了一种动态方法来平衡构建Hessian矩阵的计算成本与收敛进度。此外，我们展示了IA-NPE中的子程序——线搜索过程在面对Hessian非精确性时的鲁棒性。这些优良特性使得在该方法中可以实现高效的机器学习技术，如子采样和各种启发式方法。大量数值结果表明，IA-NPE与最先进的二阶方法（包括带三次正则化的牛顿法和信赖域方法）相比具有竞争力。
引用
@article{arxiv.2402.11951,
title = {Inexact and Implementable Accelerated Newton Proximal Extragradient Method for Convex Optimization},
author = {Ziyu Huang and Bo Jiang and Yuntian Jiang},
journal= {arXiv preprint arXiv:2402.11951},
year = {2024}
}