黎曼流形上极小极大问题的梯度下降 ascent 方法

本文研究黎曼流形上一类有用的极小极大问题，并提出一类有效的基于黎曼梯度的方法来求解这些极小极大问题。具体而言，我们针对确定性极小极大优化提出了一种有效的黎曼梯度下降 ascent（RGDA）算法。此外，我们证明对于寻找测地非凸强凹（GNSC）极小极大问题的 $\epsilon$-驻点解，我们的RGDA具有 $O(\kappa^2\epsilon^{-2})$ 的样本复杂度，其中 $\kappa$ 表示条件数。同时，我们针对随机极小极大优化提出了一种有效的黎曼随机梯度下降 ascent（RSGDA）算法，其在寻找 $\epsilon$-驻点解时具有 $O(\kappa^4\epsilon^{-4})$ 的样本复杂度。为进一步降低样本复杂度，我们基于动量方差缩减技术提出了加速黎曼随机梯度下降 ascent（Acc-RSGDA）算法。我们证明我们的Acc-RSGDA算法在搜索GNSC极小极大问题的 $\epsilon$-驻点解时达到了更低的 $\tilde{O}(\kappa^{4}\epsilon^{-3})$ 样本复杂度。在Stiefel流形上的鲁棒分布优化与鲁棒深度神经网络（DNNs）训练方面的广泛实验结果证明了我们算法的有效性。