关于C^2函数满足Polak--{\L}ojasiewicz不等式下Nesterov加速梯度法的最优局部线性收敛
最优化与控制
2026-03-24 v1 数值分析
数值分析
摘要
在本文中，我们证明Nesterov加速梯度法应用于满足局部最小化点处Polak--{\L}ojasiewicz不等式的C^2函数，可实现最优的局部线性收敛率 rho=(sqrt(3L+mu)-2sqrt(mu))/sqrt(3L+mu)+epsilon，其中epsilon是一个任意小的常数。我们的分析要求目标函数在C^2光滑性之外无需任何额外的几何规整性，以至于局部最小化子流形。关键新颖之处在于一个两阶段论证：我们首先建立一个粗糙但有效的局部线性收敛率，然后，在此先验收敛保证的基础上，获得线性化迭代算子更精细的表征，从而得到最优收敛率。结果不仅仅需要略微加强常规的C^{1,1}假设，即仅需C^2光滑性。此外，相同的分析框架允许我们在相同条件下恢复连续时间Heavy Ball动力学的最优局部指数收敛率sqrt(mu)。最后，一个代表性数值实验证实了我们的理论发现。
引用
@article{arxiv.2603.21516,
title = {Optimal local linear convergence of Nesterov's accelerated gradient method for $C^2$ functions under the Polyak--{\L}ojasiewicz inequality},
author = {Zixu Feng and Hao Yuan},
journal= {arXiv preprint arXiv:2603.21516},
year = {2026}
}
备注
23 pages, 4 figures