自适应镜像下降双层优化

本文中，我们提出一类基于镜像下降的高效自适应双层方法，用于非凸双层优化，其中上层问题非凸且可能带有非光滑正则化，下层问题亦非凸但满足 Polyak-Łojasiewicz（PL）条件。针对这些确定性双层问题，我们提出一种基于镜像下降的高效自适应投影辅助梯度（即 AdaPAG）方法，并证明其求得非凸双层问题的 $\epsilon$-平稳解所需梯度复杂度为已知最优的 $O(\epsilon^{-1})$。针对这些随机双层问题，我们提出基于镜像下降与方差缩减技术的高效自适应随机投影辅助梯度（即 AdaVSPAG）方法，并证明其求得 $\epsilon$-平稳解的梯度复杂度为已知最优的 $O(\epsilon^{-3/2})$。由于 PL 条件弱化了强凸性，我们的算法也可用于非凸-强凸双层优化。在理论上，我们在若干温和条件下为所提方法提供了有用的收敛分析框架，并证明我们的方法具有 $O(\frac{1}{T})$ 的快速收敛率，其中 $T$ 表示迭代次数。