随机递归方差缩减三次正则化方法

随机方差缩减三次正则化（SVRC）算法因其在寻找非凸有限和优化的局部极小值时改善的梯度/海森复杂度（即随机梯度/海森预言机查询次数）而受到越来越多的关注。然而，现有SVRC算法是否可进一步改进尚不清楚。此外，现有SVRC算法中采用的半随机海森估计器阻碍了基于海森-向量乘积的快速三次子问题求解器的使用，这使得SVRC算法在高维问题中计算上难以处理。在本文中，我们首先提出一种随机递归方差缩减三次正则化方法（SRVRC），使用递归更新的半随机梯度和海森估计器。它享有改善的梯度和海森复杂度以找到 $(\epsilon, \sqrt{\epsilon})$-近似局部极小值，并优于最先进的SVRC算法。在SRVRC基础上，我们进一步提出一种无海森的SRVRC算法，即SRVRC$_{\text{free}}$，其仅需随机梯度和海森-向量乘积计算，并实现 $\tilde O(dn\epsilon^{-2} \land d\epsilon^{-3})$ 运行时间复杂度，其中 $n$ 为有限和结构中的分量函数个数，$d$ 为问题维度，$\epsilon$ 为优化精度。这优于Tripuraneni等人2018年提出的随机三次正则化算法所达到的最佳已知运行时间复杂度 $\tilde O(d\epsilon^{-3.5})$。