带动量的更快随机三次正则化牛顿法
最优化与控制
2025-07-18 v1
摘要
三次正则化牛顿法 (CRN) 因能提供更强的解保证和更低的迭代复杂度而引发广泛关注。随着大数据时代的到来， developing stochastic cubic regularized Newton (SCRN) 方法以无需精确梯度和 Hessian 计算的条件下逐渐受到关注。在本文中，我们提出了更快的 SCRN 方法，融合小幅受控误差的梯度估计和基于动量的方差归约的 Hessian 估计。这些方法在梯度可在低成本下准确估计的情形下尤为有效，而 Hessian 的准确估计成本较高。在轻微假设下，我们通过分析新型潜在序列的下降来建立 SCRN 方法的迭代复杂度。最终，数值实验表明，我们的 SCRN 方法在迭代次数和解的质量方面均可与确定性 CRN 方法相当，而显著优于一阶方法。
关键词
引用
@article{arxiv.2507.13003,
title = {Faster stochastic cubic regularized Newton methods with momentum},
author = {Yiming Yang and Chuan He and Xiao Wang and Zheng Peng},
journal= {arXiv preprint arXiv:2507.13003},
year = {2025}
}