一种具有全局$\mathcal{O}(k^{-2})$收敛性的正则化无海森矩阵不精确牛顿型方法
最优化与控制
2026-05-01 v1
摘要
我们提出了一种正则化无海森矩阵牛顿型方法，用于最小化具有利普希茨连续海森矩阵的光滑凸函数。该算法通过有限差分构造近似海森矩阵，并通过一个确保充分下降和梯度控制的自适应准则选择正则化参数。我们证明了该方法实现了全局收敛速率，与二阶方法已知的最佳界相匹配。一个在可用时结合精确海森矩阵的改进变体，在标准假设下享有局部二次收敛性。尽管其简单性，该变体在多个凸基准问题上比Mishchenko（2023）的“正则化牛顿法”计算速度更快。我们的分析还提供了正则化序列的显式界，以及阶为的最坏情况迭代复杂度。因此，所提出的框架统一了正则化和无海森矩阵牛顿型方案，为光滑凸优化提供了一种理论上可靠且实践上高效的替代方案。
引用
@article{arxiv.2604.27406,
title = {A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence},
author = {Leandro Farias Maia and Antonio Victor B. Nascimento and Paulo Sergio M. Santos and Gilson N. Silva},
journal= {arXiv preprint arXiv:2604.27406},
year = {2026}
}