随机凸-凹极小极大优化的随机近似近端次梯度方法

本文提出了一种用于随机凸-凹极小极大优化的随机近似近端次梯度（SAPS）方法。通过访问无偏且方差有界的近似次梯度，我们证明如果算法中的参数选择得当，该算法在极小极大最优性度量上表现出${\rm O}(N^{-1/2})$的期望收敛率，其中$N$表示迭代次数。此外，我们证明该算法以高概率具有${\rm O}(\log(N)N^{-1/2})$的极小极大最优性度量界。我们进一步研究了来自随机凸锥优化问题的一类特定的随机凸-凹极小极大优化问题，其中次梯度有界条件不成立。为了克服凸-凹极小极大问题中缺乏次梯度有界条件的问题，我们提出了一种线性化随机近似增广拉格朗日（LSAAL）方法，并证明该算法在极小极大最优性度量上表现出${\rm O}(N^{-1/2})$的期望收敛率，并且以高概率具有${\rm O}(\log^2(N)N^{-1/2})$的极小极大最优性度量界。初步数值结果展示了SAPS和LSAAL方法的效果。