为随机鞍点问题提供高概率保证的通用程序

Dongyang Li; Haobin Li; Junyu Zhang

doi:10.1007/s10915-024-02567-5

为随机鞍点问题提供高概率保证的通用程序

最优化与控制 2024-07-01 v3

作者: Dongyang Li , Haobin Li , Junyu Zhang

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

本文考虑光滑且强凸强Concave (SC-SC) 随机鞍点问题 (SSP)。假设存在一个随意的 oracle，其按期望返回在某些间隙意义上的 $\epsilon$ 小解，此间隙可以是二次间隙或其较弱变体。我们提出一种通用的 PB-SSP 框架，以高概率保证一个 $\epsilon$ 小二次间隙解，仅需调用此 oracle $\mathcal{O}\big(\log \frac{1}{p}\cdot\text{poly}(\log \kappa)\big)$ 次，其中 $p\in(0,1)$ 为置信水平， $\kappa$ 为条件数。当应用于样本平均逼近 (SAA) oracle 时，我们的方法不仅为解提供高概率保证，甚至通过 $\text{poly}(\kappa)$ 因子提高了样本复杂度，因为高概率论证使我们能够规避 SAA 均匀稳定性分析中的一些关键困难。

关键词

随机鞍点问题高概率保证 PB-SSP 框架样本平均逼近条件数

引用

@article{arxiv.2405.03219,
  title  = {General Procedure to Provide High-Probability Guarantees for Stochastic Saddle Point Problems},
  author = {Dongyang Li and Haobin Li and Junyu Zhang},
  journal= {arXiv preprint arXiv:2405.03219},
  year   = {2024}
}

为随机鞍点问题提供高概率保证的通用程序

摘要

关键词

引用

相关论文