面向双层优化的惩罚型一阶方法：兼顾 Minimax 与约束下层问题

我们研究一类双层优化问题，其中上层与下层问题均具有 minimax 结构。这一设定捕捉了广泛的新兴应用。尽管双层优化和 minimax 优化 literature 已相当成熟，但现有方法主要聚焦于下层为最小化问题的双层优化，常需强凸性假设，且难以直接适用于本文所考察的 minimax 下层情形。为填补这一差距，我们为双层 minimax 优化开发了基于惩罚的一阶方法，无需下层问题具备强凸性。在确定性设置下，我们证明该方法可在 $\tilde{O}(\epsilon^{-4})$ 的 oracle complexity 下找到 $\epsilon$-KKT 点。进一步我们表明，带约束的下层凸最小化问题可通过拉格朗日对偶性重构为本框架的特例，从而实现 $\tilde{O}(\epsilon^{-4})$ 的复杂度，显著优于现有 $\tilde{O}(\epsilon^{-7})$ 结果。最后，我们将方法推广到随机设置，仅依赖随机梯度 oracle，证明所提随机方法可在 $\tilde{O}(\epsilon^{-9})$ 的 oracle complexity 下找到近 $\epsilon$-KKT 点。