中文

近似反射耦合的弱收敛及其在非凸优化中的应用

概率论 2022-06-07 v2 机器学习

摘要

本文中,我们提出随机微分方程(SDE)的反射耦合(RC)的一种弱逼近,并证明其弱收敛于目标耦合。与RC不同,所提近似反射耦合(ARC)无需考虑过程到达对角集的击中时刻,且可定义为全时间区间上某些SDE的解。因此,ARC可有效应对具有不同漂移项的SDE。作为ARC的应用,我们也给出了非凸设定下随机梯度下降有效性的评估。对于样本量nn、步长η\eta和批量大小BB,我们分别推导了关于时间阶数n1n^{-1}η1/2\eta^{1/2}(nB)/B(n1)\sqrt{(n - B) / B (n - 1)}的一致评估。

关键词

引用

@article{arxiv.2205.11970,
  title  = {Weak Convergence of Approximate reflection coupling and its Application to Non-convex Optimization},
  author = {Keisuke Suzuki},
  journal= {arXiv preprint arXiv:2205.11970},
  year   = {2022}
}

备注

21 pages, a typo in the proof of Lemma 3.2 has been fixed