从 Ravine 方法到 Nesterov 方法及其反之：动力系统视角
最优化与控制
2022-02-02 v2 数值分析
数值分析
摘要
我们从动力系统视角重访 Gelfand 和 Tsetlin 的 Ravine 方法，研究其收敛性质，并强调其与 Nesterov 加速梯度法的异同。这两种方法密切相关。通过颠倒其定义中外推与梯度运算的顺序，可相互推导得出。对于一般的凸目标函数，它们享有类似的函数值快速收敛与迭代收敛。我们还将建立 Ravine 与 Nesterov 方法的高分辨率 ODE，并揭示两种方法均存在一个由 Hessian 驱动的额外几何阻尼项。这将使我们首次证明不仅 Ravine 方法、而且 Nesterov 方法的梯度均快速收敛至零。我们还强调了与源自更精细离散化方案的其他算法的联系，并最终描述了针对一般结构化光滑+非光滑凸优化问题的近端-梯度算法的 Ravine 版本。
引用
@article{arxiv.2201.11643,
title = {From the Ravine method to the Nesterov method and vice versa: a dynamical system perspective},
author = {H. Attouch and J. Fadili},
journal= {arXiv preprint arXiv:2201.11643},
year = {2022}
}