对称秩-k方法

本文提出一类用于凸优化的新型块拟牛顿方法，称之为对称秩-$k$（SR-$k$）方法。SR-$k$ 的每次迭代通过贪心或随机策略以约 $k$ 次 Hessian-向量积融入曲率信息。我们证明，对于最小化光滑强凸函数，SR-$k$ 方法具有 $\mathcal{O}\big((1-k/d)^{t(t-1)/2}\big)$ 的局部超线性收敛速率，其中 $d$ 为问题维度，$t$ 为迭代计数。这是块拟牛顿方法首个显式的超线性收敛速率，并成功解释了为何块拟牛顿方法在实践中比普通拟牛顿方法收敛更快。我们还利用 SR-$k$ 方法的思想研究块 BFGS 与块 DFP 方法，展示了它们更优的收敛速率。