更快的随机拟牛顿方法

随机优化方法已成为机器学习中一类流行的优化工具。尤其是随机梯度下降（SGD）因每次迭代计算复杂度低，已广泛用于训练神经网络等机器学习问题。事实上，利用二阶信息的牛顿或拟牛顿方法能够比一阶方法获得更好的解。因此，随机拟牛顿（SQN）方法被开发出来，通过利用近似二阶信息来比随机一阶方法更有效地获得更好的解。然而，现有 SQN 方法仍未达到已知最好的随机一阶预言机（SFO）复杂度。为填补此空白，我们基于 SPIDER 的方差缩减技术提出一种新颖的更快随机拟牛顿方法（SpiderSQN）。我们证明，在有限和设定下，我们的 SpiderSQN 方法达到已知的 best SFO 复杂度 $\mathcal{O}(n+n^{1/2}\epsilon^{-2})$ 以获得一个 $\epsilon$ 一阶平稳点。为进一步提升其实用性能，我们将 SpiderSQN 与不同动量方案结合。此外，所提算法被推广到在线设定，并给出相应的 SFO 复杂度 $\mathcal{O}(\epsilon^{-3})$，这也与现有最好结果匹配。在基准数据集上的大量实验表明，我们的新算法在非凸优化上优于最先进的方案。