加速拟牛顿近端外梯度法：平滑凸优化的更快收敛速率

本文提出一种用于求解无约束平滑凸优化问题的加速拟牛顿近端外梯度 (A-QPNE) 方法。在仅能获取目标函数梯度的情况下，我们证明该方法可达到 ${O}\bigl(\min\{\frac{1}{k^2}, \frac{\sqrt{d\log k}}{k^{2.5}}\}\bigr)$ 的收敛速率，其中 $d$ 为问题维度，$k$ 为迭代次数。特别地，在 $k = {O}(d)$ 的情形下，我们的方法与 Nesterov 加速梯度 (NAG) 的最优速率 ${O}(\frac{1}{k^2})$ 相匹配。此外，在 $k = \Omega(d \log d)$ 的情形下，它优于 NAG 并以更快的速率 ${O}\bigl(\frac{\sqrt{d\log k}}{k^{2.5}}\bigr)$ 收敛。据我们所知，该结果首次证明了在凸设定下拟牛顿型方法相对 NAG 的可证明增益。为取得上述结果，我们将方法构建于近期 Monteiro-Svaiter 加速框架的一个变体之上，并采用在线学习视角来更新 Hessian 近似矩阵，其中我们将方法的收敛速率关联到矩阵空间中一个特定在线凸优化问题的动态 regret。