中文

广义光滑随机变分不等式:几乎 surely 收敛性与收敛率

最优化与控制 2025-10-02 v2

摘要

本文聚焦于解决在结构化非单调算子下满足放宽光滑性假设的随机变分不等式(SVI)问题。SVI 问题由于其直接应用于对抗训练和多智能体强化学习,在机器学习社区引起了广泛关注。在许多此类应用中,所得算子不满足光滑性假设。为此,我们聚焦于一种较弱的广义光滑性假设,即 α\alpha-对称性。在算子上施加 pp-准锋利性和 α\alpha-对称性假设后,我们研究了裁剪投影(梯度下降-上升)和裁剪 Korpelevich(extragradient)方法。对于这些裁剪方法,我们提供了首个在不对随机算子或随机样本的有界性作出任何假设的情况下的 almost sure 收敛结果。我们还在 α12\alpha \leq \frac{1}{2} 时,提供了首个在放宽光滑性假设下对这些方法进行 in-expectation 无偏收敛率结果。

关键词

引用

@article{arxiv.2410.12334,
  title  = {Generalized Smooth Stochastic Variational Inequalities: Almost Sure Convergence and Convergence Rates},
  author = {Daniil Vankov and Angelia Nedich and Lalitha Sankar},
  journal= {arXiv preprint arXiv:2410.12334},
  year   = {2025}
}