面向复合非凸有限和最小化的自适应外推近端梯度方差缩减方法

本文提出 {\sf AEPG-SPIDER}，一种用于最小化复合非凸有限和函数的带方差缩减的自适应外推近端梯度（AEPG）方法。它集成了三种加速技术：自适应步长、Nesterov 外推和递归随机路径积分估计器 SPIDER。与使用历史梯度调整步长因子的现有方法不同，{\sf AEPG-SPIDER} 依赖过去的迭代差进行更新。虽然针对随机有限和问题，{\sf AEPG-SPIDER} 在全批量、非随机设置中简化为 {\sf AEPG}，这同样具有独立意义。据我们所知，{\sf AEPG-SPIDER} 和 {\sf AEPG} 是首批针对此类 \textit{复合} 最小化问题实现最优迭代复杂度的无需 Lipschitz 常数方法。具体而言，{\sf AEPG} 达到了 $\mathcal{O}(N \epsilon^{-2})$ 的最优迭代复杂度，而 {\sf AEPG-SPIDER} 在寻找 $\epsilon$-近似稳定点时达到了 $\mathcal{O}(N + \sqrt{N} \epsilon^{-2})$，其中 $N$ 是分量函数的数量。在 Kurdyka-Lojasiewicz (KL) 假设下，我们为这两种方法建立了非遍历收敛速率。在稀疏相位恢复和线性特征值问题上的初步实验表明，{\sf AEPG-SPIDER} 和 {\sf AEPG} 优于现有方法。