带 Hessian 驱动阻尼的重量法与 Nesterev加速法
最优化与控制
2025-06-19 v1
摘要
本文研究了一种针对称为强准凸函数的一类非凸函数的、具有 Hessian 驱动阻尼的二阶动力学系统。基于该连续时间模型，我们通过时间离散化导出两种离散时间梯度基算法。第一种是一种带有 Hessian 修正的重量法，纳入了来自离散化 Hessian 阻尼部分的曲率相关项。第二种是一种具有自适应动量的 Nesterev 类型加速方法，具有考虑局部曲率的校正项。这两种算法旨在增强稳定性和收敛性能，特别是通过抑制经典动量方法中常见的振荡。此外，在这两种情况下，我们都建立了迭代值和函数值的线性收敛到最优解。我们的方法突出了连续时间动力学与离散优化算法之间复杂相互作用的作用，尤其是在强准凸目标设置下。数值实验旨在支持所获得的结果。
引用
@article{arxiv.2506.15632,
title = {Heavy Ball and Nesterov Accelerations with Hessian-driven Damping for Nonconvex Optimization},
author = {N. Hadjisavvas and F. Lara and R. T. Marcavillaca and P. T. Vuong},
journal= {arXiv preprint arXiv:2506.15632},
year = {2025}
}