SpiderBoost 与动量法:更快的随机方差缩减算法

SARAH 和 SPIDER 是两种近期提出的随机方差缩减算法,其中 SPIDER 已被证明在光滑非凸优化中达到近最优的一阶预言复杂度。然而,SPIDER 使用依赖于精度的步长,这在实践中拖慢了收敛,并且无法处理含有非光滑正则项的目標函数。本文中,我们提出 SpiderBoost 作为一种改进方案,它允许使用大得多的常数级步长,同时保持相同的近最优预言复杂度,并且可通过邻近映射推广以处理复合优化(非光滑且非凸)并具有可证明的收敛保证。特别地,我们证明邻近 SpiderBoost 在复合非凸优化中达到 $\mathcal{O}(\min\{n^{1/2}\epsilon^{-2},\epsilon^{-3}\})$ 的预言复杂度,将现有最优结果改进了 $\mathcal{O}(\min\{n^{1/6},\epsilon^{-1/3}\})$ 的因子。我们进一步提出了一种新的动量方案来加速复合优化中的 SpiderBoost,该方案在理论上达到近最优预言复杂度,并在实验中取得显著改进。