关于欠阻尼的奈斯特罗夫加速
最优化与控制
2023-05-01 v1 机器学习
数值分析
数值分析
摘要
高分辨率微分方程框架已被证明是为奈斯特罗夫加速梯度下降方法(\texttt{NAG})及其近端对应方法——一类更快的迭代收缩阈值算法(FISTA)量身定制的。然而,该理论体系尚不完整,因为欠阻尼情形()尚未被纳入。本文基于高分辨率微分方程框架,受混合项中时间或迭代的幂次启发,为欠阻尼情形构造了新的李雅普诺夫函数。当动量参数为时,新李雅普诺夫函数与先前的一致。这些新证明不仅包含了依据低分辨率微分方程框架先前获得的客观值收敛速率,还刻画了最小梯度范数平方的收敛速率。所有针对欠阻尼情形获得的收敛速率都连续依赖于参数。此外,观察到对于临界情形,高分辨率微分方程近似模拟了\texttt{NAG}的收敛行为,而低分辨率微分方程退化为保守的牛顿方程。高分辨率微分方程框架也从理论上刻画了收敛速率,其与针对欠阻尼情形所得结果一致。
引用
@article{arxiv.2304.14642,
title = {On Underdamped Nesterov's Acceleration},
author = {Shuo Chen and Bin Shi and Ya-xiang Yuan},
journal= {arXiv preprint arXiv:2304.14642},
year = {2023}
}
备注
21 pages, 4 figures, 2 tables