面向非光滑非凸-不凸随机 minimax 问题的降低方差框架：广义 Kurdyka-Łojasiewicz 属性

本文研究具有非凸-不凸结构的随机约束 minimax 优化问题，这是现代机器学习中的核心问题，由于固有的挑战，目前缺乏可靠且高效的算法。先前的非凸 minimax 优化方法常要求最大化部分具有（强）凸性，或对联合目标施加严格的几何假设以保证收敛。相反，我们的方法仅假设原变量中的弱凸性以及双变量中指数为 $\theta \in [0,1]$ 的广义 Kurdyka-Łojasiewicz（KL）属性，显著拓宽了可处理问题的范围。为此，我们提出一种降低方差的算法，能够证明处理此一般设置并实现 $\varepsilon$ 稳态解的状态最佳样本复杂度：在光滑有限和中，样本复杂度为 $\mathcal{O}\left(\sqrt{N}\,\varepsilon^{-\max\{4\theta,2\}}\right)$，其中 $N$ 为总样本数；在在线光滑设置下，为 $\mathcal{O}\Big(\varepsilon^{-\max\{6\theta,3\}}\Big)$。对于结构化非光滑问题，样本复杂度分别为 $\mathcal{O}\left(\sqrt{N}\,\max\Big\{\varepsilon^{-3}, \varepsilon^{-5\theta}, \varepsilon^{-\frac{11\theta-3}{2\theta}}\Big\}\right)$ 和 $\mathcal{O}\left(\max\left\{\varepsilon^{-4}, \varepsilon^{-\frac{15\theta-1}{2}}, \varepsilon^{-\frac{31\theta-9}{4\theta}}\right\}\right)$。据我们所知，这是首个在弱凸性、广义 KL 属性和降低方差随机更新方面 jointly 支持的统一框架，非常适用于大规模应用。