从不精确梯度下降法视角看带动量的一阶算法的收敛性
最优化与控制
2025-05-07 v1
摘要
本文引入了一种新颖的带动量的不精确梯度下降法 (IGDm)，将其视为各种带动量的一阶方法的通用框架。这尤其包括不精确近端点法 (IPPm)、超梯度法 (EGm) 和锐度感知最小化 (SAMm)。在目标函数的全局和局部假设下，建立了 IGDm 的渐近收敛性质，并根据目标函数的 Polyak-Łojasiewicz-Kurdyka (PLK) 条件提供了构造性的收敛速率。通过这种方式，推导出了 EGm 和 SAMm 对于一般光滑函数的全局收敛性，以及 IPPM 对于弱凸函数的全局收敛性。此外，还建立了 EGm 和 SAMm 对于局部光滑函数以及 IPPm 对于邻近正则函数的局部收敛性质。针对无导数优化问题进行了数值实验，以验证所开发方法在梯度计算不精确情况下动量效应的效率。
引用
@article{arxiv.2505.03050,
title = {Convergence of First-Order Algorithms with Momentum from the Perspective of an Inexact Gradient Descent Method},
author = {Pham Duy Khanh and Boris Mordukhovich and Dat Ba Tran},
journal= {arXiv preprint arXiv:2505.03050},
year = {2025}
}
备注
26 pages