梯度下降-上升在有限时间尺度分离下可证明收敛到严格局部极小极大均衡

我们研究了有限时间尺度分离参数 $\tau$ 在双人非凸非凹零和博弈的梯度下降-上升中所起的作用，其中玩家 1 的学习率记为 $\gamma_1$，玩家 2 的学习率定义为 $\gamma_2=\tau\gamma_1$。现有分析梯度下降-上升中时间尺度分离作用的工作主要关注两个极端情形：玩家共享学习率（$\tau =1$）以及最大化玩家在最小化玩家每次更新之间近似收敛（$\tau \rightarrow \infty$）。对于 $\tau=1$ 的参数选择，已知学习动态一般不能保证收敛到具有博弈论意义的均衡。相反，Jin 等人（2020）证明了当 $\tau\rightarrow\infty$ 时，梯度下降-上升的稳定临界点集合与严格局部极小极大均衡集合一致。在本文中，我们通过证明存在一个有限时间尺度分离参数 $\tau^{\ast}$ 使得 $x^{\ast}$ 是梯度下降-上升在所有 $\tau \in (\tau^{\ast}, \infty)$ 上的稳定临界点，当且仅当它是严格局部极小极大均衡，从而弥补了以往工作之间的空白。此外，我们给出了计算 $\tau^{\ast}$ 的显式构造，以及相应的收敛速率和在确定性与随机梯度反馈下的结果。我们给出的收敛结果辅以一个非收敛结果：给定不是严格局部极小极大均衡的临界点 $x^{\ast}$，则存在有限时间尺度分离 $\tau_0$ 使得 $x^{\ast}$ 对所有 $\tau\in (\tau_0, \infty)$ 都是不稳定的。最后，我们在 CIFAR-10 和 CelebA 数据集上实证展示了时间尺度分离对训练性能的显著影响。