割线惩罚 BFGS:一种通过惩罚割线条件实现的抗噪拟牛顿法
最优化与控制
2023-01-11 v2 数值分析
数值分析
摘要
本文提出一种 BFGS 方法的新变体,旨在梯度测量受噪声污染时表现良好。我们表明,通过采用由正则化最小二乘估计启发的惩罚方法处理割线条件,可以在使用原始 BFGS 更新公式更新逆 Hessian 近似与不更新逆 Hessian 近似之间平滑插值。此外,我们发现当插值趋向不更新逆 Hessian 近似时,曲率条件被平滑地放松,并在完全不更新逆 Hessian 近似时彻底消失。这些进展使我们开发出一种称为割线惩罚 BFGS(secant penalized BFGS, SP-BFGS)的方法,它允许根据梯度测量中的噪声量来放松割线条件。SP-BFGS 提供了一种以受控偏置朝向先前逆 Hessian 近似的方式增量更新新逆 Hessian 近似的手段,从而能用平均性质取代原始 BFGS 更新的覆盖性质,抵抗噪声的破坏性影响并能应对负曲率测量。我们讨论了 SP-BFGS 的理论性质,包括在一致有界噪声存在下最小化强凸函数时的收敛性。最后,我们利用来自 CUTEst 测试问题集的超过 30 个问题进行了大量数值实验,证明在含噪声的函数与梯度求值下,SP-BFGS 相比 BFGS 具有更优性能。
引用
@article{arxiv.2010.01275,
title = {Secant Penalized BFGS: A Noise Robust Quasi-Newton Method Via Penalizing The Secant Condition},
author = {Brian Irwin and Eldad Haber},
journal= {arXiv preprint arXiv:2010.01275},
year = {2023}
}
备注
38 pages, 3 figures; corrected errors, added numerical experiments