具有局部 Lipschitz 梯度的半代数函数的动量法收敛性
最优化与控制
2024-01-09 v2
摘要
我们提出了一个新的步长公式，用于刻画动量法在最小化具有局部 Lipschitz 梯度的可微半代数函数时迭代点的演化。它使我们能够建立局部收敛、全局收敛以及收敛到局部极小点，而无需像文献中那样假设梯度的全局 Lipschitz 连续性、强制性和全局增长条件。因此，我们给出了动量法在应用于主成分分析、矩阵感知和线性神经网络时从任意初始点出发的首个收敛保证。
引用
@article{arxiv.2307.03331,
title = {Convergence of the momentum method for semialgebraic functions with locally Lipschitz gradients},
author = {Cédric Josz and Lexiao Lai and Xiaopeng Li},
journal= {arXiv preprint arXiv:2307.03331},
year = {2024}
}
备注
33 pages. Accepted for publication at SIAM Journal on Optimization