基于强Lyapunov函数的一阶凸优化方法统一收敛分析
最优化与控制
2021-08-03 v1
摘要
我们利用强Lyapunov条件概念提出了一阶凸优化方法的统一收敛分析。将其与合适的时间缩放因子结合，我们能够处理凸与强凸情形，并建立许多现有常微分方程模型的Lyapunov函数收缩性质。随后，我们从相应动力系统的数值离散化推导了流行的一阶优化算法，如近端梯度法、重球法（亦称动量法）、Nesterov加速梯度法以及加速近端梯度法。我们还将强Lyapunov条件应用于离散层面，提供了更系统化的分析框架。另一贡献是一种称为Hessian驱动的Nesterov加速梯度流的新型二阶动力系统，可用于设计与分析光滑及非光滑凸优化的加速一阶方法。
引用
@article{arxiv.2108.00132,
title = {A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions},
author = {Long Chen and Hao Luo},
journal= {arXiv preprint arXiv:2108.00132},
year = {2021}
}