从动力系统视角看 Nesterov 加速
最优化与控制
2019-05-21 v1 机器学习
系统与控制
机器学习
摘要
我们提出一个用于理解Nesterov加速梯度法的动力系统框架。与早期工作不同，我们的推导不依赖于步长趋于零的论证。我们表明Nesterov加速源于用半隐式欧拉积分格式离散化一个常微分方程。我们分析了底层微分方程及离散化过程，以获得对加速现象的洞察。分析表明，一个曲率相关阻尼项处于该现象的核心。我们进一步建立了离散化与连续时间动力学之间的联系。
引用
@article{arxiv.1905.07436,
title = {A Dynamical Systems Perspective on Nesterov Acceleration},
author = {Michael Muehlebach and Michael I. Jordan},
journal= {arXiv preprint arXiv:1905.07436},
year = {2019}
}
备注
11 pages, 4 figures, to appear in the Proceedings of the 36th International Conference on Machine Learning