一阶梯度方法中加速动力学的研究
系统与控制
2025-09-24 v1 系统与控制
摘要
自 Nesterov (1983) 的原始算法以来，加速现象的本质一直难以捉摸，人们对为何该方法实际上更快有各种解释。通过常微分方程（ODEs）视角对该算法进行诊断，以及用相应的动力系统表述来解释底层动力学，有着丰富的历史。在文献中，解释算法的 ODE 通常是通过考虑算法映射本身的极限情况推导得出的，即 ODE 表述跟随算法的发展。这掩盖了底层的高阶原理，因此对算法的工作机制提供的证据很少。Nesterov 算法以及用于描述加速现象的各种类比正是如此，例如与重球沿斜坡滚动相关的动量、Hessian 阻尼等。我们工作的主要重点是从动力系统的角度构思 Nesterov 算法的起源，从而揭示算法背后的数学严谨性。本文不是从离散算法反向推导 ODE，而是探索最近发展的控制范式——即无源性浸入（Passivity and Immersion）方法和几何奇异摄动理论——这些工具被用于推导一个解释和建模加速现象的动力系统表述。这一视角有助于理解 Nesterov 加速算法在光滑强凸和凸情形中所使用的各项和步骤序列。该框架还可以扩展以推导使用三重动量方法实现的加速，并为重球法（Heavy-Ball method）不收敛到最优解提供理论依据。
引用
@article{arxiv.2509.18346,
title = {On the Dynamics of Acceleration in First order Gradient Methods},
author = {M Parimi and Rachit Mehra and S. R. Wagh and Amol Yerudkar and Navdeep Singh},
journal= {arXiv preprint arXiv:2509.18346},
year = {2025}
}