不必如此积极：二阶方法中的负步长

二阶方法的价值在于利用曲率信息。然而，获取这些信息成本高昂，并且一旦获得，有价值的负曲率信息常常被丢弃，以确保方法全局收敛。这限制了二阶方法在现代机器学习中的有效性。在本文中，我们证明，只要添加一个要素：负步长，二阶及类二阶方法就是神经网络有前景的优化器。我们证明，在非常一般的条件下，当与允许正负步长的Wolfe线搜索相结合时，产生上升方向的方法是全局收敛的。我们通过实验证明，使用负步长通常比常见的Hessian矩阵修正方法更有效。