Nesterov-Spokoiny 加速实现严格的 $o(1/k^2)$ 收敛
最优化与控制
2025-11-13 v5
摘要
本文研究 Nesterov-Spokoiny 加速（NSA），即 Nesterov 与 Spokoiny 提出的加速梯度法的一种变体。对于光滑凸优化，NSA 在函数值上实现严格的 收敛速率，在平方梯度范数上实现 速率，同时保证目标的单调下降。我们进一步研究了处理不精确梯度的 NSA 零阶版本，并将 NSA 推广到复合优化问题，在每种情形下均建立了函数值的 收敛。连续时间分析揭示了其与已知作为加速现象基础的高分辨率 ODE 之间的联系。
引用
@article{arxiv.2308.14314,
title = {The Nesterov-Spokoiny Acceleration Achieves Strict $o(1/k^2)$ Convergence},
author = {Weibin Peng and Yu Liu and Tianyu Wang},
journal= {arXiv preprint arXiv:2308.14314},
year = {2025}
}