CaCuTe：更快优化的偶然三次模型技术

我们在 $2H$ -Hessian-Lipschitz 假设下，建立了梯度更新 $x^{k+1}=x^k-\nabla f(x^k)/\sqrt{H\|\nabla f(x^k)\|}$ 的局部 $\mathcal{O}(k^{-2})$ 收敛率。该方法依赖 Hessian-向量乘积进行势能检测，避免了 Hessian 的形成或分解。将该证据引入三次正规牛顿法 (CRN) 及其加速变体后，可在保持 CRN 全局保证的前提下，实现三次步骤与梯度步骤之间的逐迭代切换。该技术在实验中在所有基准方法中实现了最低的 wall-clock 时间。在一阶设置下，该技术产生一个单调、自适应、无参数的方法，继承了局部 $\mathcal{O}(k^{-2})$ 收敛率。尽管采用回溯策略，该方法仍显示出优异的 wall-clock 性能。此外，我们涵盖了经典梯度-Lipschitz 性质之外的光滑性松弛，实现更紧的界，包括全局 $\mathcal{O}(k^{-2})$ 收敛率。最后，我们将该技术推广到随机设置。