非凸有限和最小化的自适应随机方差缩减

我们提出了一种称为AdaSpider的自适应方差缩减方法，用于具有有限和结构的$L$-光滑非凸函数的最小化。本质上，AdaSpider将受AdaGrad启发[Duchi等人，2011；McMahan & Streeter，2010]但截然不同的自适应步长调度与[Fang等人，2018]中提出的递归随机路径积分估计器相结合。据我们所知，AdaSpider是首个无参数的非凸方差缩减方法，在于它不需要知道问题相关参数，例如光滑常数$L$、目标精度$\epsilon$或梯度范数的任何界。在此过程中，我们能够以$\tilde{O}\left(n + \sqrt{n}/\epsilon^2\right)$次预言机调用计算出一个$\epsilon$-平稳点，这与相应的下界相差至多对数因子。