未知强凸参数下 Nesterov 加速梯度方法的全局 R-线性收敛性

Nesterov 加速梯度(NAG)方法是一种重要的基于外推的数值算法,可加速凸优化中梯度下降方法的收敛。当处理 $\mu$-强凸的目标函数时,选取依赖于 $\mu$ 的外推系数可实现全局 R-线性收敛。在 $\mu$ 未知的情况下,通常采用的做法是使用原始 NAG 方法设定外推系数。该选择可在一般凸问题的一阶方法中达到最优迭代复杂度。然而,对于强凸问题,带有未知强凸参数的 NAG 方法是否展现全局 R-线性收敛仍属未知。本文通过构建特定 Lyapunov 序列的 Q-线性收敛,肯定地回答了该问题。此外,我们将结果推广至加速近端梯度方法的全局 R-线性收敛,该方法用于求解强凸复合优化问题。有趣的是,这些结果与 NAG 方法的连续对应模型在 [Su, Boyd, and Candés, J. Mach. Learn. Res., 2016, 17(153), 1-43] 中的发现相矛盾,其中所提常微分方程对强凸函数的收敛速率不能超过 $O(1/{\tt poly}(k))$。