CGD：通过梯度正则化修改损失函数景观
最优化与控制
2025-08-15 v3
摘要
线搜索方法常用于求解优化问题。最简单的线搜索方法是梯度下降法，其始终沿负梯度方向移动。相比之下，牛顿法是一种二阶方法，利用 Hessian 中的曲率信息来选择下降方向。在本文中，我们提出了一种新的线搜索方法，称为受约束梯度下降（CGD），其通过隐式改变目标函数的景观来实现高效优化。CGD 被形式化为原始问题的受约束版本，其中约束是梯度函数的一个函数。我们优化相应的拉格朗日函数，从而有利地改变目标函数的景观。这导致一种线搜索程序，其中拉格朗日罚项作为对下降方向的控制，可用于迭代产生具有更小梯度值的点，与普通梯度下降法的迭代结果相比更为有效。我们建立了 CGD 的全局线性收敛率，并通过数值实验在人工测试函数上说明了 CGD 的性能。我们还提供了 CGD 的两个实用变体：CGD-FD 采用无二阶信息的方法，CGD-QN 采用准牛顿法，证明了它们的有效性。
引用
@article{arxiv.2504.16182,
title = {CGD: Modifying the Loss Landscape by Gradient Regularization},
author = {Shikhar Saxena and Tejas Bodas and Arti Yardi},
journal= {arXiv preprint arXiv:2504.16182},
year = {2025}
}