面向二阶最优性的OFFO最小化算法及其复杂度
最优化与控制
2023-02-16 v1
摘要
我们提出了一类受Adagrad启发的光滑无约束优化算法,其中目标函数从未被求值,然而梯度范数以至少 的速度下降,同时二阶最优性度量以至少 的速度收敛到零。后者的收敛速度被证明基本是紧的,并且与已知的使用函数和导数求值的更标准算法(如信赖域或自适应正则化方法)相同。还描述了一种相关的“发散步长”方法,其本质上紧的收敛速度略差。最后讨论了如何以(大幅)降低的计算代价获得较弱的二阶最优性保证。
引用
@article{arxiv.2203.03351,
title = {OFFO minimization algorithms for second-order optimality and their complexity},
author = {S. Gratton and Ph. L. Toint},
journal= {arXiv preprint arXiv:2203.03351},
year = {2023}
}