中文

关于单调随机变分不等式问题单投影格式的方差缩减与随机投影变体的分析

最优化与控制 2020-12-22 v3

摘要

经典外梯度格式及其随机对应格式是解决单调变分不等式问题的基石。然而,此类格式每次迭代的复杂度为对凸集的两次投影并要求两次映射求值,其中若 XX 为复杂集合,前者可能相对昂贵。我们考虑两种显著降低每次迭代复杂度的相关途径:(i)一种随机投影反射梯度法,仅需一次映射求值与一次投影;(ii)一种随机次梯度外梯度法,需要两次映射求值、一次到 XX 的投影,以及一次可闭式计算的显著更廉价的投影(到半空间)。在依赖于基于递增批量大小的映射样本平均的方差缩减框架下,我们证明两种格式的迭代几乎必然(a.s.)收敛到解集中的随机点。此外,两种格式均展现出 O(1/K)\mathcal{O}(1/K) 的非渐近速率,其中 KK 表示迭代次数;值得注意的是,两种速率与确定性情形下所得速率一致。为处理由大量凸约束交给出的可行集,我们将上述两种格式适配到随机投影框架。随后我们证明,在弱锐度要求下,两种格式的随机投影类比也展现 a.s. 收敛;此外,在不施加弱锐度要求时,两种格式在平均序列到 XX 的投影的间隙函数以及该序列的不可行性方面均具有可证明的 O(1/K)\mathcal{O}(1/\sqrt{K}) 速率。初步数值实验支持理论发现,且这些格式在每次迭代复杂度上优于标准外梯度格式。

关键词

引用

@article{arxiv.1904.11076,
  title  = {On the analysis of variance-reduced and randomized projection variants of single projection schemes for monotone stochastic variational inequality problems},
  author = {Shisheng Cui and Uday V. Shanbhag},
  journal= {arXiv preprint arXiv:1904.11076},
  year   = {2020}
}