无需强凸模信息的向前-向后加速算法的线性收敛性
最优化与控制
2024-04-10 v2 机器学习
数值分析
数值分析
机器学习
摘要
现代基于梯度的优化方法的一个重要里程碑是 Nesterov 加速梯度下降(NAG)方法的提出。这一向前-向后技术随着其近端推广(通常称为快速迭代收缩阈值算法(FISTA))的引入而得到进一步发展,并在图像科学与工程中得到了广泛应用。然而,NAG 与 FISTA 对于强凸函数是否均呈现线性收敛仍不明确。值得注意的是,这些算法在无需任何强凸模先验知识的情况下即可证明收敛,这一引人关注的特性在综述文献 [Chambolle and Pock, 2016, Appendix B] 中被视为一个开放问题。本文利用高分辨率常微分方程(ODE)框架解决了该问题。在已有相空间表示的基础上,我们强调构造 Lyapunov 函数所采用的独特方法,其涉及一个在迭代过程中动态演化的动能自适应系数。此外,我们指出 NAG 与 FISTA 的线性收敛均与参数 无关。我们还证明了近端次梯度范数的平方同样趋于线性收敛。
引用
@article{arxiv.2306.09694,
title = {Linear convergence of forward-backward accelerated algorithms without knowledge of the modulus of strong convexity},
author = {Bowen Li and Bin Shi and Ya-xiang Yuan},
journal= {arXiv preprint arXiv:2306.09694},
year = {2024}
}
备注
17 pages, 3 figures; To appear in SIAM Journal on Optimization