一种用于非凸极小化的随机信赖域方法

我们针对非凸有限和极小化中寻找局部最小值的问题。为此，我们首先证明只要微分估计足够精确，带有不精确梯度和Hessian估计的信赖域方法能够达到$\mathcal{O}(1/{k^{2/3}})$阶的收敛速率。将这一结果与一种新颖的Hessian估计器相结合，我们提出了样本高效的随机信赖域(STR)算法，该算法在$\mathcal{O}({\sqrt{n}}/{\epsilon^{1.5}})$次随机Hessian预言机查询内找到一个$(\epsilon, \sqrt{\epsilon})$-近似局部最小值。这比最先进水平的结果改善了$\mathcal{O}(n^{1/6})$。实验验证了理论结论以及STR的效率。