随机二阶方法改进了SGD在梯度主导函数上的已知最优样本复杂度

我们研究了随机立方正则牛顿法（SCRN）在一类满足梯度主导性质（$1\le\alpha\le2$）的函数上的性能，该性质在机器学习和信号处理的广泛应用中成立。这一条件确保任何一阶驻点都是全局最优解。我们证明，SCRN在达到$\epsilon$-全局最优解时的总样本复杂度为：当$1\le\alpha< 3/2$时为$\mathcal{O}(\epsilon^{-7/(2\alpha)+1})$，当$3/2\le\alpha\le 2$时为$\mathcal{\tilde{O}}(\epsilon^{-2/(\alpha)})$。SCRN改进了随机梯度下降（SGD）的已知最优样本复杂度。即使在适用于基于策略的强化学习（RL）的弱版梯度主导性质下，SCRN也相对于随机策略梯度方法取得了同样的改进。此外，我们表明，通过使用具有时变批量大小的方差缩减方法，SCRN在$\alpha=1$时的平均样本复杂度可降至${\mathcal{O}}(\epsilon^{-2})$。在各种RL设置下的实验结果显示，与一阶方法相比，SCRN具有卓越的性能。