中文

Hilbert空间中单调包含问题的随机松弛惯性前向-后向-前向分裂法

最优化与控制 2022-08-11 v2

摘要

我们考虑定义在Hilbert空间上的单调包含问题,其中算子由一个极大单调算子TT与一个单值、单调、Lipschitz连续且期望值的算子VV之和给出。我们的动机源于Attouch与Cabot关于单调包含松弛惯性方法的开创性工作,并提出了松弛惯性前向-后向-前向(RISFBF)方法的随机扩展。借助基于小批量方法的在线方差缩减策略,我们证明(RISFBF)产生一个弱收敛到解集的序列。此外,可以估计随机过程离散速度消失的速率。在强单调性下,我们证明了强收敛,并详细评估了该格式的迭代与预言机复杂度。当小批量以几何(多项式)速率增大时,速率结论可加强为线性(相应多项式)速率,而计算ϵ\epsilon-解的预言机复杂度改善至O(1/ϵ)O(1/\epsilon)。重要的是,后一结论允许可能存在偏置的预言机,这是一项允许远更广泛适用性的关键理论进展。通过基于Fitzpatrick函数定义受限间隙函数,我们证明了平均序列的期望间隙以O(1/k)O(1/k)的次线性速率减小,而计算适当定义的ϵ\epsilon-解的预言机复杂度为O(1/ϵ1+a)O(1/\epsilon^{1+a})其中a>1a>1。关于两阶段博弈与重叠组Lasso问题的数值结果说明了我们的方法相较于随机前向-后向-前向(SFBF)与SA格式的优势。

关键词

引用

@article{arxiv.2107.10335,
  title  = {Stochastic Relaxed Inertial Forward-Backward-Forward splitting for Monotone Inclusions in Hilbert spaces},
  author = {Shisheng Cui and Uday V. Shanbhag and Mathias Staudigl and Phan Tu Vuong},
  journal= {arXiv preprint arXiv:2107.10335},
  year   = {2022}
}

备注

Small clarifications in Section 4.2