关于随机变分不等式随机逼近方法中的平滑、正则化与平均

传统上，针对随机变分不等式 (SVI) 的随机逼近方案依赖于底层映射的强单调性和 Lipschitz 性质。相比之下，我们考虑单调随机变分不等式 (SVI) 问题，其中减弱了对映射的强单调性和 Lipschitz 假设。在本文的第一部分，为了解决这些不足，开发了一种正则化平滑 SA (RSSA) 方案，其中步长、平滑和正则化参数是每次迭代后更新的递减序列。在适当的序列假设下，我们证明该算法生成的迭代几乎必然收敛到解，从而将文献 [16] 的结果扩展到了非 Lipschitz 区域。出于建立非渐近速率陈述的需要，在本文的第二部分，我们开发了 RSSA 方案的一个变体，记为 aRSSA$_r$，其中我们采用由标量 $r$ 参数化的加权迭代平均，当 $r = 1$ 时提供标准的平均方案。我们在这一背景下做出了几项贡献：首先，我们证明当参数序列选择适当时，与 aRSSA$_r$ 方案生成的序列相关的间隙函数趋于零。其次，我们证明当抑制平滑和正则化且 $r < 1$ 时，与平均序列相关的间隙函数以最优速率 $\cal{O}(1/\sqrt{K})$ 在 $K$ 步后减小至零，从而改进了标准平均的速率陈述（其速率为 $\cal{O}(\ln(K)/\sqrt{K})$）。第三，我们开发了该方案的一个基于窗口的变体，其在 $r < 1$ 时也表现出最优速率。值得注意的是，当平均窗口足够大时，我们证明了 $r < 1$ 的方案在误差界的常数因子方面优于其 $r=1$ 的对应方案。