非凸无约束优化中 L-BFGS 与 Barzilai-Borwein 方法的全局化

我们提出了一种修正的有限内存 BFGS (L-BFGS) 方法，该方法对非凸目标函数具有全局和线性收敛性。其显著特征是，若迭代点聚集在目标函数具有强凸性与 Lipschitz 梯度的点附近，则该方法会转化为 L-BFGS，从而继承经典方法的卓越有效性。这些强收敛保证由一种新颖的谨慎更新形式实现，其中每次迭代都会重新决定哪些存储对用于更新、哪些被跳过。特别地，这产生了谨慎更新的首次修正，使得所有聚点均为驻点且 L-BFGS 算子的谱不受永久限制，且无需梯度的 Lipschitz 连续性。事实上，对于 Wolfe-Powell 线搜索，我们证明梯度的连续性足以保证全局收敛，且该结论可推广至其他下降方法。由于我们在全局化 L-BFGS 方法中允许内存大小为零，因此也获得了 Barzilai-Borwein 谱梯度 (BB) 方法的一种新全局化。收敛分析在较弱的假设下于 Hilbert 空间中展开，并涵盖 Armijo 与 Wolfe-Powell 线搜索。我们通过数值实验验证了理论发现。实验表明，若谨慎更新的参数之一被选得足够小，则修正方法与 L-BFGS/BB 完全一致。我们在理论部分也对此进行了讨论。新方法的实现已在 arXiv 上提供。