对建模 Nesterov 凸梯度法的二阶动力系统的推广
最优化与控制
2019-08-08 v1 泛函分析
摘要
本文研究一类与具有 Fréchet 可微目标函数的凸最小化问题相关的通用二阶连续动力系统。我们表明，诸如 Nesterov 算法等惯性算法可通过我们动力系统的自然显式离散化得到。该动力系统可视为带消失阻尼的重球法的扰动版本，但扰动作用于目标函数梯度的自变量处。如某些数值实验所示，该扰动对能量误差似有平滑作用，并消除了带消失阻尼重球法中所出现的该误差振荡。我们证明，所生成轨迹上的目标函数值以 O(1/t^2) 阶收敛至目标函数的全局最小值。此外，我们得到该动力系统生成的轨迹收敛至目标函数的一个极小点。
引用
@article{arxiv.1908.02574,
title = {An extension of the second order dynamical system that models Nesterov's convex gradient method},
author = {Cristian Daniel Alecsa and Szilárd Csaba László and Titus Pinţa},
journal= {arXiv preprint arXiv:1908.02574},
year = {2019}
}
备注
21 pages