具有非渐近超线性收敛率的有限内存贪婪拟牛顿法

拟牛顿法的非渐近收敛分析已受到关注，一项里程碑结果建立了显式局部超线性率 O$((1/\sqrt{t})^t)$。然而，达到该率的方法存在一个众所周知的缺陷：它们需要存储先前的 Hessian 近似矩阵或所有过去的曲率信息以形成当前的 Hessian 逆近似。拟牛顿法的有限内存变体（如著名的 L-BFGS）通过利用有限窗口的过去曲率信息来构造 Hessian 逆近似，从而缓解此问题。因此，它们每次迭代的复杂度和存储需求为 O$(\tau d)$，其中 $\tau\le d$ 为窗口大小，$d$ 为问题维度，降低了标准拟牛顿法的 O$(d^2)$ 计算成本与内存需求。然而，据我们所知，尚无结果显示任何有限内存拟牛顿法具有非渐近超线性收敛率。本文中，我们填补了这一空白，提出一种有限内存贪婪 BFGS（LG-BFGS）方法，可实现显式非渐近超线性率。我们在后处理梯度变化中引入位移聚合（即去相关投影），并结合变量变化上的基向量选择方案，该方案贪婪地最大化 Hessian 估计到真实 Hessian 的进展度量。二者的结合使过去曲率信息保留在稀疏子空间中，同时产生对完整历史的有效表示。有趣的是，我们建立的非渐近超线性收敛率展示了收敛速度与内存需求之间的显式权衡，据我们所知，这是此类中的首个结果。数值结果证实了我们的理论发现并展示了方法的有效性。