用于随机变分不等式的基于方差的随机外梯度法及线搜索

我们提出了一种动态采样随机逼近 (DS-SA) 外梯度法，用于随机变分不等式 (SVI)，该方法对未知的 Lipschitz 常数 $L$ 具有\emph{鲁棒性}。据我们所知，这是第一种在大样本机制下仅假设无偏随机预言机即可证明收敛的\emph{具有方差缩减}的\emph{鲁棒}SA\emph{方法}，适用于 SVI 或随机优化。这拓宽了适用范围，并在常数因子内改进了先前方差缩减方法所需的效率加速，所有这些先前的方法仍假设已知 $L$（因此对其估计不具有鲁棒性）。确切地说，与具有小步长策略的先前鲁棒方法的迭代和预言机复杂度 $\mathcal{O}(\epsilon^{-2})$ 相比，我们的鲁棒方法获得了更快的 $\mathcal{O}(\epsilon^{-1})$ 迭代复杂度，其预言机复杂度为 $(\ln L)\mathcal{O}(d\epsilon^{-2})$（相差对数项）。这与不假设额外问题信息（如 $L$）的样本平均逼近估计量的样本复杂度在常数因子内相匹配。不同于先前针对病态问题的鲁棒方法，我们允许可行集无界，并允许具有乘法噪声 (MN) 的预言机，其方差不一定一致有界。这些性质体现在我们的复杂度估计中，它们仅依赖于 $L$ 和解处的局部二阶或四阶矩。我们 DS-SA 线搜索方案的鲁棒性和方差缩减特性是以非鞅类依赖 (NMD) 为代价的，这是由于需要对 $L$ 的下界进行内部统计估计。为了处理 NMD 和 MN，我们的证明依赖于基于经验过程理论的新型局部化论证。我们还提出了另一种针对更广泛的 H"older 连续算子类 SVI 的鲁棒方法。