不精确 Hessian 信息下非凸 Newton-MR 的复杂度保证
最优化与控制
2024-09-16 v2 数值分析
数值分析
摘要
我们考虑将用于非凸无约束优化的 Newton-MR 算法扩展到 Hessian 信息被近似的情形。在 Hessian 矩阵的特定噪声模型下，我们研究该变体在若干非凸设定下达到适当次优准则的迭代复杂度与运算复杂度。为此，我们首先考虑满足（广义）Polyak-Łojasiewicz 条件（一类特殊的非凸函数子类）的函数。我们表明，在特定条件下，我们的算法实现全局线性收敛速率。随后我们考虑更一般的非凸设定，其中获得一阶次优性的速率被证明为次线性的。在所有这些设定中，我们表明无论 Hessian 的近似程度以及子问题解的精度如何，算法均收敛。最后，我们在若干机器学习问题上将算法性能与几种替代方法进行比较。
引用
@article{arxiv.2308.09912,
title = {Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information},
author = {Alexander Lim and Fred Roosta},
journal= {arXiv preprint arXiv:2308.09912},
year = {2024}
}