用于双层与极小极大优化的加速全一阶方法

本文提出了用于*双层优化*（Bilevel Optimization, BLO）的新型加速全一阶方法。首先，在下层函数满足典型强凸性假设的 BLO 中，提出了利用*全*一阶预言机的*双层逼近的（扰动）重启加速全一阶方法*（\texttt{PRAF${}^2$BA}）算法，该算法在求解复杂优化任务时具有寻找近似一阶和二阶驻点的 SOTA 预言机查询复杂度。其次，作为 BLO 的特例应用于*非凸-强凸*（Nonconvex-Strongly-Convex, NCSC）极小极大优化时，\texttt{PRAF${}^2$BA} 重新发现了*扰动重启加速梯度下降上升法*（\texttt{PRAGDA}），实现了寻找近似二阶驻点的 SOTA 复杂度。此外，我们研究了当下层函数缺乏典型强凸性假设时，在 BLO 中寻找超目标函数驻点的挑战，在此我们确定了下层问题的若干正则性条件以确保可处理性，并给出了表明对于一般凸下层函数 BLO 不可处理的困难性结果。在这些正则性条件下，我们提出了*无精确梯度方法*（\texttt{IGFM}），利用*切换梯度方法*（\texttt{SGM}）作为高效子程序，在多项式时间内寻找超目标的近似驻点。提供了针对现实世界问题的实证研究，以进一步验证我们提出的算法的优越性能。