一种用于求解光滑非凸复合优化问题的类 FISTA 加速梯度算法

本文描述并建立了两种加速复合梯度（ACG）变体的迭代复杂度，用于求解光滑非凸复合优化问题，其目标函数为具有 Lipschitz 连续梯度的非凸可微函数 $f$ 与一个简单非光滑闭凸函数 $h$ 之和。当 $f$ 为凸时，第一种 ACG 变体在特定输入选择下退化为著名的 FISTA，因此前者可视为后者在非凸情形下的自然推广。第一种变体需要输入对 $(M,m)$，使得 $f$ 为 $m$-弱凸、$\nabla f$ 为 $M$-Lipschitz 连续，且 $m \le M$（可能 $m<M$），这通常难以获取或估计不佳。另一方面，第二种变体可从任意正实数对标量输入对 $(M,m)$ 起步，且其复杂度在大量输入对范围内被证明不劣于、且某些情况下优于第一种变体。最后，我们给出数值结果以说明两种 ACG 变体的效率。