二次梯度：通过合成 Hessian 与梯度桥接梯度下降与牛顿型方法的统一框架
摘要
加速二阶优化（尤其是牛顿型方法）的收敛仍是算法研究中的关键挑战。本文扩展了先前关于二次梯度（Quadratic Gradient, QG）的工作，并严格验证其对一般凸数值优化问题的适用性。我们引入了一种脱离传统固定 Hessian 牛顿框架的二次梯度新变体。我们提出了构建新版本二次梯度的新方法。该新二次梯度不满足固定 Hessian 牛顿法的收敛条件。然而，实验结果表明，其在收敛速度上有时优于原始版本。尽管该变体放宽了某些经典收敛约束，它仍保持正定 Hessian 代理，并在收敛速度上展现出相当甚至更优的实证性能。此外，我们证明原始与所提 QG 变体均可有效应用于非凸优化地形。我们工作的一个关键动机在于传统标量学习率的局限性。我们认为对角矩阵能更有效地以异质速率加速梯度分量。我们的发现确立了二次梯度作为现代优化中一种通用且强大的框架。此外，我们集成 Hutchinson 估计量，通过 Hessian-向量积高效估计 Hessian 对角。值得注意的是，我们证明所提二次梯度变体对深度学习架构极为有效，为标准自适应优化器提供了鲁棒的二阶替代方案。
引用
@article{arxiv.2209.03282,
title = {Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients},
author = {John Chiang},
journal= {arXiv preprint arXiv:2209.03282},
year = {2026}
}
备注
In this work, we proposed an enhanced Adam method via quadratic gradient and applied the quadratic gradient to the general numerical optimization problems. The quadratic gradient can indeed be used to build enhanced gradient methods for general optimization problems. There is a good chance that quadratic gradient can also be applied to quasi-Newton methods, such as the famous BFGS method