关于二次问题上准牛顿方法的有限终止性

准牛顿方法是求解非线性优化问题的重要方法类。此类方法使用一阶信息来逼近二阶导数，旨在模拟牛顿方法可保证的快速收敛。在最佳情况下，准牛顿方法将远远优于梯度下降等一阶方法，却不需计算精确的二阶导数。这些收敛保证仅在局部成立，这源于若目标函数严格凸，则可在解附近良好地用二次函数进行逼近。因此，理解准牛顿方法在对称正定 Hessian 的二次问题上的性能至关重要。在经典情况下，Hessian 的逼近在每一次迭代中更新，并使用精确线搜索。众所周知，即使 Hessian 逼近是无记忆的（即仅依赖最近的信息），该算法也会在有限次数后终止。本文探讨了在放宽对精确线搜索依赖性和共轭搜索方向依赖性的前提下，如何保持准牛顿方法在二次问题上的有限终止性。我们表明，仅需基于两个向量创建无记忆准牛顿矩阵，即可在有限迭代次数内计算出牛顿方向，与步长无关。准牛顿逼近无需在整个空间中充分充当 Hessian。