加速具有 Lipschitz 梯度的强凸函数的 Nesterov 方法

我们修改了 Nesterov 著作中描述的针对具有 Lipschitz 连续梯度的强凸函数的 Nesterov 常数步长梯度法。Nesterov 证明了 $f(x_k) - f^* \leq L \prod_{i=1}^k (1 - \alpha_k) \| x_0 - x^* \|_2^2$，其中 $\alpha_k = \sqrt{\rho}$ 对所有 $k$ 成立，$L$ 为 Lipschitz 梯度常数，$\rho$ 为 $f(x)$ 的条件数倒数。因此收敛速率为 $1-\sqrt{\rho}$。在本工作中，我们尝试通过在每次迭代中自适应搜索 $\alpha_k > \sqrt{\rho}$ 来加速 Nesterov 方法。所提出的方法每次迭代最多评估两次梯度函数，并涉及一些额外的 Level 1 BLAS 运算。理论上，在最坏情况下，其迭代次数与 Nesterov 方法相同，但梯度调用次数翻倍。然而在实践中，所提出的方法有效加速了许多问题的收敛速度，包括平滑基追踪去噪问题。