有限时间收敛梯度流的欧拉离散化收敛性研究
机器学习
2025-03-19 v5 系统与控制
系统与控制
摘要
在本研究中，我们考察两种新颖的一阶优化算法，即重缩放梯度流（RGF）与符号梯度流（SGF）的性能。这些算法源自有限时间收敛流的前向欧拉离散化，该连续流由非 Lipschitz 动力系统构成，可在局部收敛至梯度主导函数的最小值。我们首先刻画连续流与离散化之间的逼近程度，进而给出离散算法（一般情形与随机情形）的（线性）收敛保证。此外，在问题参数未知或非一致的情况下，我们进一步将线搜索策略与 RGF/SGF 结合，并给出此设定下的收敛分析。随后我们将所提算法应用于学术示例与深度神经网络训练，结果表明我们的方案相比标准优化替代方法展现出更快的收敛。
引用
@article{arxiv.2010.02990,
title = {On The Convergence of Euler Discretization of Finite-Time Convergent Gradient Flows},
author = {Siqi Zhang and Mouhacine Benosman and Orlando Romero},
journal= {arXiv preprint arXiv:2010.02990},
year = {2025}
}