前向-后向加速算法可控动量系数族

Nesterov加速梯度法（NAG）是梯度优化中的一项重大进步，相对于基于凸函数的普通梯度下降法实现了更快的收敛速度。然而，其在强凸函数上的算法复杂度尚未知晓，正如Chambolle和Pock[2016]的综合性综述所述。这一问题除了关键步长外，由Li等人[2024b]解决，Fu和Shi[2024]进一步探讨了单调情况。在本文中，我们引入了前向-后向加速方法的可控动量系数族，关注关键步长 $s=1/L$。不同于传统的线性形式，提议的动量系数遵循 $\alpha$ 次方结构，其中参数 $r$ 可适应 $\alpha$。我们设计了针对 $\alpha$ 的Lyapunov函数，建立了在满足 $r > 2\alpha$ 时，NAG-$\alpha$ 方法可控的 $O\left(1/k^{2\alpha} \right)$ 收敛率。 在关键步长下，NAG-$\alpha$ 通过调整 $r$ 达到任意 $\alpha > 0$ 的反多项式收敛率。我们进一步通过以迭代序列 $x_k$ 和 $y_k$ 表示Lyapunov函数，简化了该函数，无需相空间表示。这一简化使我们能够将可控的 $O \left(1/k^{2\alpha} \right)$ 收敛率扩展到单调变体M-NAG-$\alpha$，从而提高优化效率。最后，利用复合函数的基本不等式，我们将可控的 $O\left(1/k^{2\alpha} \right)$ 收敛率扩展到proximal算法，包括快速迭代收缩阈值算法（FISTA-$\alpha$）及其单调变体（M-FISTA-$\alpha$）。