ISTA 与 FISTA 的近端次梯度范数最小化

对于一阶光滑优化，关于加速现象的研究有悠久历史。直到最近，导致加速的机制才通过梯度修正项及其等价的隐式速度形式被成功揭示。此外，基于高分辨率微分方程框架及相应的新兴技术——相空间表示与 Lyapunov 函数，发现了 Nesterov 加速梯度下降（\texttt{NAG}）方法的梯度范数平方以逆立方速率收敛。然而，该结果不能直接推广到实践中广泛使用的复合优化，例如具有稀疏表示的线性逆问题。在本文中，我们细致观察了复合优化中有关步长 $s$ 与 Lipschitz 常数 $L$ 的一个关键不等式，并发现可将其改进得更紧。我们将所发现的更紧不等式应用于精心构造的 Lyapunov 函数中，进而通过相空间表示得到近端次梯度范数最小化，而无关梯度修正或隐式速度。进一步，我们证明了迭代收缩阈值算法（ISTA）类的近端次梯度范数平方以逆平方速率收敛，而更快迭代收缩阈值算法（FISTA）类的近端次梯度范数平方被加速至以逆立方速率收敛。