跳过 Hessian，保留收敛率：全局化半光滑 Newton 方法与惰性 Hessian 更新
最优化与控制
2026-02-10 v1
摘要
二阶方法在收敛速度上具有显著优势，其高效实现对于大规模优化问题已引起广泛关注。然而，机器学习中的优化问题常具有非光滑导数，这使得现有的二阶方法收敛率理论无法直接适用。本文提出了一种新型半光滑 Newton 方法 (SSN)，既具备全局收敛率，又具备渐近超线性收敛，无需二阶可微性。关键在于，我们的方法无需在每次迭代时计算（广义）Hessian，而仅在周期性地计算，其他情况下复用陈旧的 Hessian（即执行惰性 Hessian 更新），从而节省计算成本，往往在时间上实现显著加速，同时仍保持强大的全局和局部收敛率保证。我们在无限维设置下发展理论，并通过矩阵分解和带 Lipschitz 约束的神经网络的数值实验加以说明。
引用
@article{arxiv.2602.08069,
title = {Skip the Hessian, Keep the Rates: Globalized Semismooth Newton with Lazy Hessian Updates},
author = {Amal Alphonse and Pavel Dvurechensky and Clemens Sirotenko},
journal= {arXiv preprint arXiv:2602.08069},
year = {2026}
}