优化中的加速方法

在凸优化中，存在一种加速现象，能够提升某些基于梯度的算法的收敛速率。我们可以在Nesterov加速梯度下降、加速镜像下降以及加速三次正则化牛顿法等方法观察到该现象。本文中，我们证明了离散时间的高阶梯度方法族（推广了梯度下降）对应于连续时间的一阶重缩放梯度流族。另一方面，加速高阶梯度方法族（推广了加速镜像下降）对应于连续时间的二阶微分方程族，其中每个方程都是一族拉格朗日泛函的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日的指数变体，它对应于Nesterov重启方案的推广，并在离散时间中达到线性收敛速率。最后，我们证明拉格朗日族在时间膨胀（加速时间作用下的轨道）下是封闭的，这展示了优化中加速现象的拉格朗日视角的普适性。