Guler型加速技术在准梯度、线性化Augmented Lagrangian和线性化交替方向乘子方法中的应用

本文引入Guler型加速技术，并运用于提出三种加速算法：Guler型加速准梯度法（GPGM）、Guler型加速线性化Augmented Lagrangian法（GLALM）以及Guler型加速线性化交替方向乘子法（GLADMM）。这些算法的核心思想是充分利用负项$-\|x^k-\hat{x}^{k-1}\|^2$的信息，以设计外推步骤。使用负项改善加速的这一概念可以同样应用于其他算法。此外，所提出的GLALM和GLADMM使初步变量和对偶变量同时实现加速。此外，GPGM和GLALM实现了与现有结果相同的收敛速率为$O(\frac{1}{k^2})$。虽然GLADMM的总收敛速率仍为$O(\frac{1}{N})$，但部分收敛速率从$O(\frac{1}{N^{3/2}})$提升至$O(\frac{1}{N^2})$。为验证算法有效性，我们在包括$\ell_1$正则化逻辑回归、二次规划和压缩感知等多个问题实例上进行数值实验。实验结果表明，我们的算法在效率方面优于现有方法。这也显示了这些算法的随机版本在统计学、机器学习和数据挖掘等应用领域的潜力。最后值得注意的是，本文旨在介绍Guler加速技术如何应用于梯度基算法，并提供其构建的统一简洁框架。