一种用于凸优化的自适应无参数Nesterov加速梯度法

我们提出了AdaNAG，一种基于Nesterov加速梯度法的自适应加速梯度方法。AdaNAG无需线搜索、无需参数，并且对于$L$-光滑凸函数$f$，实现了加速收敛速率$f(x_k) - f_\star = \mathcal{O}\left(1/k^2\right)$和$\min_{i\in\left\{1,\dots, k\right\}} \|\nabla f(x_i)\|^2 = \mathcal{O}\left(1/k^3\right)$。我们为AdaNAG的收敛性证明提供了一个Lyapunov分析，这也使我们能够提出一种新颖的自适应梯度下降（GD）方法，即AdaGD。AdaGD像原始GD一样，实现了非遍历收敛速率$f(x_k) - f_\star = \mathcal{O}\left(1/k\right)$。对AdaGD的分析也促使我们提出了一个广义的AdaNAG，它包含了AdaNAG的实用变体。数值结果表明，对于代表性应用，我们的方法优于其他一些最近的自适应方法。