具有完全一阶预言机的近最优非凸-强凸双层优化

在这项工作中，我们考虑当下层问题强凸时的双层优化。近期的研究表明，利用 Hessian-向量积（HVP）预言机，可以证明地在 $\mathcal{O}(\epsilon^{-2})$ 次预言机调用内找到一个 $\epsilon$-平稳点。然而，HVP 预言机在实践中可能不可访问或代价高昂。Kwon 等人（ICML 2023）通过提出一种一阶方法解决了这一问题，该方法能以较慢的 $\tilde{\mathcal{O}}(\epsilon^{-3})$ 速率达到相同目标。在本文中，我们引入双时间尺度更新，将其方法改进至达到近最优的 $\tilde {\mathcal{O}}(\epsilon^{-2})$ 一阶预言机复杂度。我们的分析具有高度可扩展性。在随机设定下，当随机噪声仅存在于上层目标中以及同时存在于两层目标中时，我们的算法分别能达到 $\tilde {\mathcal{O}}(\epsilon^{-4})$ 和 $\tilde {\mathcal{O}}(\epsilon^{-6})$ 的随机一阶预言机复杂度。当目标具有更高阶光滑性条件时，我们的确定性方法可通过注入噪声逃离鞍点，并且可利用 Nesterov 动量加速至达到 $\tilde {\mathcal{O}}(\epsilon^{-1.75})$ 的更快速率。