非凸简单双层优化中寻找驻点点的复杂度

在本文中，我们研究解决简单双层优化问题的问题，其中上层目标在下层问题的解集上进行最小化。我们关注的是在上层和下层目标均为光滑但可能非凸的一般设置。在缺乏额外结构假设的情况下（例如凸性或 Polyak-{\L}ojasiewicz (PL) 条件），以保证全局最优性通常是难以实现的。相反，我们引入一种适合此类问题的驻点概念，并旨在设计一种在多项式时间内找到此类驻点的 first-order 算法。直观地说，在此设置下，驻点意味着在不会造成下层目标显著恶化的情况下，无法在本地显著改善上层目标。为此，我们证明，一种简单且可实现的 dynamic barrier gradient descent (DBGD) 框架的变体能够有效解决我们考虑的非凸简单双层问题达到驻点。具体来说，为了到达一个 $(\epsilon_f, \epsilon_g)$-驻点——其中 $\epsilon_f$ 和 $\epsilon_g$ 分别表示上层和下层目标的目标驻点准确度——我们考虑的方法实现的复杂度为 $\mathcal{O}\left(\max\left(\epsilon_f^{-\frac{3+p}{1+p}}, \epsilon_g^{-\frac{3+p}{2}}\right)\right)$，其中 $p \geq 0$ 是任意常数，用于平衡这些术语。据我们所知，这是首个为一般非凸简单双层问题保证两个层次联合驻点的离散时间算法的复杂度结果。