具有 Hölder 连续 Hessian 的非凸无约束优化的 Newton-CG 方法
最优化与控制
2025-04-15 v3 机器学习
摘要
本文考虑一个非凸无约束优化问题，即最小化具有 Hölder 连续 Hessian 的二阶可微目标函数。具体而言，我们首先提出一种 Newton-共轭梯度（Newton-CG）方法，用于求该问题的近似一阶与二阶驻点，并假设相关的 Hölder 参数已知。随后，我们开发了一种无需这些参数任何先验知识的无参数 Newton-CG 方法。据我们所知，该方法是首个无需参数的二阶方法，在求此问题的近似一阶与二阶驻点方面达到了已知最优的迭代与运算复杂度。最后，我们给出了初步的数值结果，以证明我们的无参数 Newton-CG 方法相对于一种知名的正则化 Newton 方法具有更优的实际性能。
引用
@article{arxiv.2311.13094,
title = {Newton-CG methods for nonconvex unconstrained optimization with H\"older continuous Hessian},
author = {Chuan He and Heng Huang and Zhaosong Lu},
journal= {arXiv preprint arXiv:2311.13094},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2301.03139