Nys-Newton：用于随机优化的 Nyström 逼近曲率

二阶优化方法是凸优化问题中应用最广泛的优化方法之一，近来也被用于优化深度学习模型等非凸优化问题。广泛使用的二阶优化方法如拟牛顿法通常通过割线方程逼近 Hessian 来提供曲率信息。然而，由于使用一阶导数，割线方程在逼近 Newton 步时显得乏力。本研究提出一种基于近似 Newton sketch 的大规模经验风险最小化随机优化算法。具体而言，我们计算大小为（$d\times m$）且 $m\ll d$ 随机选变量的部分列 Hessian，然后使用 \emph{Nyström 方法} 更好地逼近完整 Hessian 矩阵。为进一步降低每轮迭代的计算复杂度，我们直接计算更新步（$\Delta\boldsymbol{w}$），而不计算与存储完整 Hessian 或其逆。随后我们将逼近的 Hessian 与随机梯度下降及随机方差缩减梯度方法结合。在凸与非凸函数上的数值实验结果表明，所提方法能更好地逼近 Newton 方法，性能与最先进的（SOTA）一阶及随机拟牛顿方法相当。此外，我们提供了凸函数的理论收敛性分析。