重心动力学方程实现 $O(\varepsilon^{-7/4})$ 收敛用于非凸函数
最优化与控制
2025-05-02 v2
摘要
对于具有 Lipschitz 连续梯度和 Hessian 的非凸函数的一阶优化方法已被广泛研究。寻找 -stationary 点的 SOTA 方法基于 Nesterov 加速梯度下降（AGD）或 Polyak 重心法（HB）方法，时间复杂度为 或 \tilde{O}(\varepsilon^{-{7/4}))。然而，这些算法采用额外机制，如重启方案和负曲率利用，这会使其行为复杂化，进而难以应用于更高级的设置（如随机优化）。作为研究是否可以在无需此类额外机制的情况下构建具有 O(\varepsilon^{-{7/4})) 复杂度的简单算法的第一步，我们研究 HB 微分方程，即 AGD 和 HB 方法的连续时间类比。我们证明其动力学在 O(\varepsilon^{-{7/4})) 时间内达到 -stationary 点。
关键词
引用
@article{arxiv.2406.06100,
title = {Heavy-ball Differential Equation Achieves $O(\varepsilon^{-7/4})$ Convergence for Nonconvex Functions},
author = {Kaito Okamura and Naoki Marumo and Akiko Takeda},
journal= {arXiv preprint arXiv:2406.06100},
year = {2025}
}
备注
16 pages