比较 BFGS 与 OGR 的二阶优化
机器学习
2025-12-09 v1 人工智能
摘要
估计 Hessian 矩阵，尤其是针对神经网络训练，是一个具有挑战性的问题，原因在于高维度和高昂的计算代价。在本工作中，我们比较了流行的 BFGS 方法（Broy-den-Fletcher-Goldfarb-Shanno）中使用的经典 Sherman-Morrison 更新——该方法在凸性假设下保持正定 Hessian 近似——与一种称为在线梯度回归（Online Gradient Regression, OGR）的新方法。OGR 利用指数移动平均对位置处的梯度进行回归，以在线估计二阶导数，无需 Hessian 求逆。与 BFGS 不同，OGR 允许估计一般的（不一定正定的）Hessian 矩阵，因此能够处理非凸结构。我们在标准测试函数上评估了两种方法，并证明 OGR 在非凸设定下实现了更快的收敛速度和更优的损失。
引用
@article{arxiv.2512.06969,
title = {Comparing BFGS and OGR for Second-Order Optimization},
author = {Adrian Przybysz and Mikołaj Kołek and Franciszek Sobota and Jarek Duda},
journal= {arXiv preprint arXiv:2512.06969},
year = {2025}
}