无界凸函数的Nesterov加速梯度法在偶空间中寻找最小范数点

我们研究了一阶方法应用于下无界凸函数$f$（即$\inf f = -\infty$）时的行为。这种情形很少受到关注，因为梯度下降和Nesterov加速梯度法的轨迹会发散。在本文中，我们建立了定量收敛结果，描述了它们发散的速度和方向，这对无界性判断具有启示意义。一个关键思想是将其与偶空间中的一个范数最小化问题联系起来：在$p \in \mathrm{dom}f^\ast$上最小化$\|p\|^2/2$，该问题可以通过以Legendre-Fenchel共轭$f^\ast$作为距离生成函数的镜像下降法自然地求解。结果发现，$f$的梯度下降法恰好与该范数最小化问题的镜像下降法一致，因此它以$\mathcal{O}(k^{-1})$的速率同时解决了这两个问题。这一结果可以实现加速；Nesterov的加速梯度法无需任何修改，就能以$\mathcal{O}(k^{-2})$的速率同时解决原始最小化问题和偶范数最小化问题，为无界凸优化中的发散提供了定量刻画。