锐化惰性增量拟牛顿法

在机器学习与统计学中，最小化 $d$ 维空间中 $n$ 个函数之和的问题是普遍存在的。在许多观测数 $n$ 很大的应用中，必须使用增量或随机方法，因为其每次迭代代价与 $n$ 无关。其中，拟牛顿（QN）方法在每次迭代代价与收敛速率之间取得平衡：具体而言，它们以 $O(d^2)$ 代价展现出超线性速率，而一阶方法以 $O(d)$ 代价呈线性速率，二阶方法以 $O(d^3)$ 代价呈二次速率。然而，现有增量方法存在显著缺陷：增量拟牛顿（IQN）仅展现渐近超线性收敛；相比之下，增量贪婪 BFGS（IGS）提供显式超线性收敛，但经验性能差且每次迭代代价为 $O(d^3)$。为解决这些问题，我们引入锐化惰性增量拟牛顿法（SLIQN），它兼顾两者优势：显式超线性收敛速率，以及以每次迭代 $O(d^2)$ 代价获得的优越经验性能。SLIQN 具有两个关键改动：首先，它融合了经典与贪婪 BFGS 更新的混合策略，使其经验上优于 IQN 与 IGS；其次，它采用巧妙的常数乘性因子配合惰性传播策略，从而将代价控制在 $O(d^2)$。此外，我们的实验证明了 SLIQN 优于其他增量与随机拟牛顿变体，并确立了其与二阶增量方法的竞争力。