基于时间尺度与最速下降平均化的快速凸优化
最优化与控制
2023-05-05 v3
摘要
在希尔伯特空间中，我们发展了一种基于梯度的动力学方法，用于快速求解凸优化问题。通过对连续最速下降（SD）施加时间尺度变换、平均化与扰动技术，我们得到了 Nesterov 方法与 Ravine 方法的高分辨率常微分方程。这些动力学包含渐近消失的黏性阻尼与 Hessian 驱动阻尼（显式或隐式形式）。数学分析无需为惯性系统建立 Lyapunov 分析。我们仅利用（SD）及其外部扰动版本的经典收敛结果，再借助微分与积分 calculus 工具，包括 Jensen 不等式。该方法灵活，作为示例我们展示了它如何从优化中其他重要动力学出发加以应用。我们考虑初始动力学为正则化牛顿法的情况，接着是起始动力学为与凸下半连续势相关联的微分包含的情况，最后说明该技术可自然推广到单调余强制算子的情况。我们的方法导出了并行的算法结果，并在快速梯度与邻近算法情形下加以研究。我们的平均化技术揭示了 Nesterov 方法与 Ravine 方法之间的新联系。
引用
@article{arxiv.2208.08260,
title = {Fast convex optimization via time scale and averaging of the steepest descent},
author = {Hedy Attouch and Radu Ioan Bot and Dang-Khoa Nguyen},
journal= {arXiv preprint arXiv:2208.08260},
year = {2023}
}
备注
Improved convergence rates and new links between the Nesterov and Ravine methods are also provided