非线性共轭梯度法中的正则化步方向

共轭梯度最小化方法（CGM）及其加速变体被广泛使用。我们关注利用三次正则化改进CGM方向，且与步长计算无关。在本文中，我们提出CGM的混合三次正则化，其中正则化步被选择性使用。利用Shanno将CGM重新表述为无记忆BFGS方法，我们推导了正则化步方向的新公式。我们表明正则化步方向每次迭代的计算负担与其非正则化版本同阶。此外，CGM的混合三次正则化在更少假设下展现全局收敛。数值实验中，新步方向被证明需要更少的迭代次数、改善运行时间，并减少重置步方向的需求。总体而言，CGM的混合三次正则化保持了相同的无记忆和无矩阵性质，同时作为无记忆BFGS方法在迭代和运行时间上优于CGM。