在线学习引导的曲率近似：一种具有全局非渐近超线性收敛的拟牛顿法

拟牛顿算法是求解无约束极小化问题最流行的迭代方法之一，很大程度上归功于其良好的超线性收敛性质。然而，现有这些算法的结果存在局限，因为它们要么提供（i）具有渐近超线性收敛速率的全局收敛保证，要么提供（ii）在初始点与初始Hessian近似选取恰当时情形的局部非渐近超线性速率。特别地，目前对拟牛顿方法的分析均不能保证具有显式超线性收敛速率的全局收敛。本文弥补了这一空白，提出了首个具有显式非渐近超线性收敛速率的全局收敛拟牛顿法。与经典拟牛顿方法不同，我们将算法构建于混合邻近外梯度法之上，并提出了一种新颖的在线学习框架用于更新Hessian近似矩阵。具体而言，在收敛分析指导下，我们将Hessian近似更新表述为矩阵空间中的在线凸优化问题，并将该在线问题的有界regret与我们所提方法的超线性收敛联系起来。