用于计算鞍点的鲁棒加速原始-对偶方法

我们考虑强凸-强凹鞍点问题，假设我们可以获得梯度的无偏随机估计。我们提出了一种随机加速原始-对偶（SAPD）算法，并证明使用恒定原始-对偶步长生成的 SAPD 序列线性收敛到唯一鞍点的一个邻域。将该邻域的大小解释为对梯度噪声鲁棒性的度量，我们得到了用 SAPD 参数和问题常数表示的鲁棒性显式刻画。基于这些刻画，我们开发了计算上易于处理的技术来优化 SAPD 参数，即原始和对偶步长以及动量参数，以在帕累托曲线上实现收敛速度与鲁棒性之间期望的权衡。这使得 SAPD 作为一种加速方法，既能享受快速收敛特性，又对噪声具有鲁棒性。SAPD 为距离度量提供了收敛保证，其方差项在相差一个对数因子的意义上是最优的——该因子可以通过采用重启策略来消除。我们还讨论了收敛性和鲁棒性结果如何扩展到凸-凹情形。最后，我们在分布鲁棒逻辑回归问题上展示了我们的框架。