一类非光滑凸函数上有限内存 BFGS 的分析

有限内存 BFGS（L-BFGS）方法被广泛用于大规模无约束优化，但其在非光滑问题上的行为很少受到关注。L-BFGS 可带或不带“缩放”使用；通常推荐使用缩放。一个简单特例是仅存储并在每次迭代中使用一次 BFGS 更新，有时也称为无记忆 BFGS。我们分析带缩放的无记忆 BFGS，采用任意 Armijo-Wolfe 线搜索，作用于函数 $f(x) = a|x^{(1)}| + \sum_{i=2}^{n} x^{(i)}$，从任意满足 $x_0^{(1)}\not = 0$ 的点 $x_0$ 启动。我们证明若 $a\ge 2\sqrt{n-1}$，该方法生成的归一化搜索方向的绝对值收敛到常向量，并且若此外 $a$ 大于一个依赖于 Armijo 参数的量，则迭代收敛到非最优点 $\bar x$（满足 $\bar x^{(1)}=0$），尽管 $f$ 在下无界。如我们先前工作所示，带任意 Armijo-Wolfe 线搜索的梯度法在同一函数上若 $a\geq \sqrt{n-1}$ 且 $a$ 大于另一依赖于 Armijo 参数的量也会失败，但缩放无记忆 BFGS 在将 $a$ 与 Armijo 参数关联的条件弱于导致梯度法失败的条件时即失败。此外，与梯度法形成鲜明对比的是，若使用特定的标准 Armijo-Wolfe 括号线搜索，缩放无记忆 BFGS 在 $a\ge 2 \sqrt{n-1}$ 时无论 Armijo 参数如何均失败。最后，数值实验表明类似结果对带任意固定更新数的缩放 L-BFGS 也成立。