SPIDER：基于随机路径积分微分估计的近最优非凸优化方法

在本文中，我们提出一种称为随机路径积分微分估计器（Stochastic Path-Integrated Differential EstimatoR, SPIDER）的新技术，可用于以显著降低的计算成本跟踪许多感兴趣的确定性量。我们将 SPIDER 应用于两个任务，即随机一阶与零阶方法。对于随机一阶方法，将 SPIDER 与归一化梯度下降结合，我们提出两种新算法，即 SPIDER-SFO 与 SPIDER-SFO\textsuperscript{+}，它们仅使用随机梯度求解非凸随机优化问题。我们给出了其收敛速率的精确误差界结果。特别地，我们证明 SPIDER-SFO 与 SPIDER-SFO\textsuperscript{+} 算法在寻找 $\epsilon$-近似一阶平稳点时分别取得了突破性的梯度计算代价 $\mathcal{O}\left( \min( n^{1/2} \epsilon^{-2}, \epsilon^{-3} ) \right)$，以及在寻找 $(\epsilon, \mathcal{O}(\epsilon^{0.5}))$-近似二阶平稳点时取得了 $\tilde{\mathcal{O}}\left( \min( n^{1/2} \epsilon^{-2}+\epsilon^{-2.5}, \epsilon^{-3} ) \right)$。此外，我们证明在有限和设定下，于梯度 Lipschitz 假设下，SPIDER-SFO 几乎匹配寻找近似一阶平稳点的算法下界。对于随机零阶方法，我们证明代价为 $\mathcal{O}( d \min( n^{1/2} \epsilon^{-2}, \epsilon^{-3}) )$，优于所有现有结果。