非线性离散化与牛顿法：关于回归目标稳态点的特征
机器学习
2025-10-15 v1
摘要
二阶方法正成为训练神经网络的有前景的替代方案，取代标准的一阶优化器，如梯度下降和 ADAM。尽管在计算优化步骤中包含曲率信息的优势在科学机器学习文献中受到赞誉，但唯一被研究过的二阶方法是准牛顿方法，即目标函数的 Hessian 矩阵被近似。尽管只需使用真实 Hessian 而非其近似值似乎只会带来好处，但我们展示了在依赖确切曲率信息进行训练时，神经网络训练可靠地会失败。这种失效模式为非线性离散化的几何以及损失景观中稳态点的分布提供了见解，进而我们质疑了损失景观充满局部极小值的常规观念。
关键词
引用
@article{arxiv.2510.11987,
title = {Nonlinear discretizations and Newton's method: characterizing stationary points of regression objectives},
author = {Conor Rowan},
journal= {arXiv preprint arXiv:2510.11987},
year = {2025}
}