拟牛顿优化法被证明是椭球范数下的最速下降法
最优化与控制
2024-11-19 v1
摘要
优化问题在理论和数值方法方面都出现在许多实际应用中。特别是，深度学习训练的重大改进来自拟牛顿法。拟牛顿搜索方向为牛顿法提供了一种有吸引力的替代方案，因为它们不需要计算 Hessian 矩阵，但仍能达到超线性收敛速度。在拟牛顿法中，我们要求 Hessian 近似满足割线方程。本文引入了经典的柯西-施瓦茨不等式，然后提出了更一般的推广。并严格证明了拟牛顿法是椭球范数下的最速下降法。
引用
@article{arxiv.2411.11286,
title = {Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm},
author = {Jiongcheng Li},
journal= {arXiv preprint arXiv:2411.11286},
year = {2024}
}