光滑非凸优化的改进复杂度：一种结合拟牛顿法的双层在线学习方法

我们研究在仅能获取梯度信息的情况下，寻找光滑函数的$\epsilon$-一阶驻点（FOSP）的问题。在目标函数的梯度和海森矩阵均满足利普希茨连续的假设下，该任务目前已知的最佳梯度查询复杂度为${O}(\epsilon^{-7/4})$。在这项工作中，我们提出了一种梯度复杂度为${O}(d^{1/4}\epsilon^{-13/8})$的方法，其中$d$是问题维度，当$d = {O}(\epsilon^{-1/2})$时，复杂度得到改进。为实现这一结果，我们设计了一种优化算法，其底层涉及解决两个在线学习问题。具体来说，我们首先将寻找非凸问题驻点的任务重新表述为最小化一个在线凸优化问题中的遗憾，其中损失由目标函数的梯度决定。然后，我们引入一种新颖的乐观拟牛顿法来解决这个在线学习问题，其中Hessian近似更新本身被构建为矩阵空间中的一个在线学习问题。除了改进使用梯度预言机达到$\epsilon$-FOSP的复杂度界之外，我们的结果还首次提供了表明拟牛顿法在非凸设置下可能优于梯度下降类方法的保证。