随机双层优化中一阶方法的复杂度研究

我们考虑在下层问题无约束且强凸的情况下，在双层优化中寻找稳定点的问题。该问题近年来得到了广泛研究；主要的技术挑战在于跟踪下层解 $y^*(x)$ 以响应上层变量 $x$ 的变化。随后，所有现有方法都将其分析与一个知晓下层解的“精灵”算法绑定，因此无需查询远离这些解的任何点。我们考虑与这些方法对偶的一个问题：假设我们有一个称为 $y^*$-aware 的预言机，它除了在 $y^*(x)$ 周围的 $\Theta(\epsilon)$-球内提供局部无偏的一阶梯度估计外，还能返回下层解的 $O(\epsilon)$ 估计。我们研究了使用这种 $y^*$-aware 预言机寻找稳定点的复杂度：我们提出了一种简单的一阶方法，该方法使用 $O(\epsilon^{-6})$、$O(\epsilon^{-4})$ 次对一阶 $y^*$-aware 预言机的访问即可收敛到一个 $\epsilon$ 稳定点。我们的上界也适用于标准的无偏一阶预言机，在最小假设下将一阶方法的最佳已知复杂度改进了 $O(\epsilon)$。然后，我们分别在未对 $y^*$-aware 预言机施加额外平滑性假设和施加该假设的情况下，提供了匹配的 $\Omega(\epsilon^{-6})$、$\Omega(\epsilon^{-4})$ 下界。我们的结果表明，任何模拟使用 $y^*$-aware 预言机的算法的方法都必须承受相同的下界。