一种方差缩减的随机加速原始对偶算法

在这项工作中，我们考虑强凸强凹（SCSC）鞍点（SP）问题 $\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$，其中 $f$ 是 $L$-光滑的，对每个 $y$ 有 $f(.,y)$ 是 $\mu$-强凸的，且对每个 $x$ 有 $f(x,.)$ 是 $\mu$-强凹的。此类问题在机器学习中鲁棒经验风险最小化（ERM）的背景下频繁出现，例如分布鲁棒ERM，其中偏梯度是使用小批量数据点估计的。假设我们可以访问无偏随机一阶预言机，我们考虑Zhang等人[2021]最近提出的用于SCSC SP问题的随机加速原始对偶（SAPD）算法，作为一种对抗梯度噪声的鲁棒方法。特别地，当动量参数设为零时，SAPD退化为众所周知的随机梯度下降上升（SGDA）作为特例，并且当动量参数适当调优时可以达到加速速率，即将关于 $\kappa \triangleq L/\mu$ 的依赖性从SGDA的 $\kappa^2$ 改进到 $\kappa$。我们基于Richardson-Romberg外推为SAPD提出高效的方差缩减策略，并表明我们的方法在实践和理论上都优于SAPD。