由在线学习引导的准牛顿方法及其全局非渐近收敛性

本文提出一种用于求解光滑单调非线性方程的准牛顿方法，包括无约束最小化和最小极值优化等特例。对于强单调情形，我们建立了两个全局收敛界：(i)一个与著名的外推梯度法一致的线性收敛率，(ii)一个显式的全局超线性收敛率，在至多${O}(d)$次迭代后可超越线性收敛率，其中$d$为问题的维数。此外，对于算子仅为单调的情况，我们证明了在duality间隙意义下，全局收敛率为${O}(\\min\\{{1}/{k},{\\sqrt{d}}/{k^{1.25}}\\})$。当$k = {O}(d^2)$时，此结果与外推梯度法一致；当$k = \\Omega(d^2)$时，此结果更快。这些结果是首次展示准牛顿方法在无需查询算子雅可比矩阵的情况下，对外推梯度法具有可证明优势的全局收敛结果。与经典准牛顿方法不同，我们通过采用混合proximal外推梯度框架和新颖的在线学习方法来实现这一点。具体而言，根据收敛分析，我们将雅可比近似矩阵的更新形式化为在非对称矩阵上的在线凸优化问题，将在线问题的regret与本方法的收敛率关联。为便于高效实现，我们进一步开发了基于近似分离偶数的定制化在线学习算法，该算法保留雅可比矩阵中的对称性和稀疏性等结构。