非凸-非凹极小极大优化中的局部最优性是什么？

极小极大优化在现代机器学习中已有广泛应用，例如生成对抗网络（GANs）、对抗训练和多智能体强化学习。由于这些应用大多涉及连续非凸-非凹形式，一个非常基本的问题随之产生——'局部最优的恰当定义是什么？' 多数已有工作使用来自同时行动博弈的经典均衡概念来回答该问题，其中最小者和最大者同时行动。相反，包括 GANs 和对抗训练在内的机器学习多数应用对应于序贯博弈，其中哪一方先行动的顺序至关重要（由于问题的非凸-非凹性质，极小极大一般不等于极大极小）。本文的主要贡献是为这一序贯设定提出局部最优性的恰当数学定义——局部极小极大，并给出其性质与存在性结果。最后，我们建立了其与基本局部搜索算法——梯度下降上升（GDA）的强联系：在温和条件下，GDA 的所有稳定极限点恰好是局部极小极大点（除去某些退化点）。