非凸-(强)凹随机极小极大优化的泛化界

本文迈出系统性研究非凸-(强)凹（NC-SC/NC-C）随机极小极大优化算法泛化界的第一步，以原始函数平稳性作为度量。我们首先通过经验极小极大问题与总体极小极大问题之间的均匀收敛，建立与算法无关的泛化界。对于NC-SC与NC-C设定，实现$\epsilon$-泛化所需的样本复杂度分别为$\tilde{\mathcal{O}}(d\kappa^2\epsilon^{-2})$与$\tilde{\mathcal{O}}(d\epsilon^{-4})$，其中$d$为维度，$\kappa$为条件数。我们进一步通过算法的稳定性论证研究依赖于算法的泛化界。特别地，我们引入一种针对极小极大问题的新稳定性概念，并建立泛化界与该稳定性概念之间的联系。据此，我们建立了随机梯度下降上升（SGDA）算法及更一般的由采样决定的算法的依赖于算法的泛化界。