随机梯度外推与翻滚混洗及锚定：可证明的改进

在最小二乘优化中，外推（EG）方法因其在凸凹（C-C）问题中优于梯度下降-升降法而受到广泛关注。然而，随机EG（SEG）在C-C问题中取得了有限的成功，尤其是对于无约束的情况。为了追随基于混洗随机方法的最新进展，我们研究了在无约束有限和损失函数的minimax问题中，基于混洗的SEG的收敛性，寻找收敛的基于混洗的SEG。我们的分析揭示，随机重排和最近提出的翻滚混洗单独都会在C-C问题中导致发散。然而，随着一种称为锚定的简单技巧，我们开发了带有翻滚锚定的SEG（SEG-FFA）方法，该方法在C-C问题中成功收敛。我们还在强凸-强凹设置下给出上界和下界，表明SEG-FFA的收敛速度在其他基于混洗的方法之上具有可证明的优势。