中文

非凸情形下朗之万动力学的锐收敛速率

机器学习 2020-07-07 v4 机器学习 概率论 统计计算

摘要

我们研究从分布 p(x)exp(U(x))p^*(x) \propto \exp\left(-U(x)\right) 采样的问题,其中函数 UU 处处 LL-光滑,且在半径 RR 的球外 mm-强凸,但在该球内可能非凸。我们研究过阻尼与欠阻尼朗之万MCMC,并建立为获得在 11-Wasserstein 距离上与 pp^* 相差 ϵ\epsilon 以内的分布所需步数的上界。对于一阶方法(过阻尼朗之万MCMC),迭代复杂度为 O~(ecLR2d/ϵ2)\tilde{\mathcal{O}}\left(e^{cLR^2}d/\epsilon^2\right),其中 dd 为底层空间的维数。对于二阶方法(欠阻尼朗之万MCMC),迭代复杂度为 O~(ecLR2d/ϵ)\tilde{\mathcal{O}}\left(e^{cLR^2}\sqrt{d}/\epsilon\right),其中 cc 为显式正常数。令人惊讶的是,这两种算法的迭代复杂度仅关于维数 dd 与目标精度 ϵ\epsilon 为多项式级。然而,其关于问题参数 LR2LR^2 是指数级的,而 LR2LR^2 是目标分布非对数凹性的度量。

关键词

引用

@article{arxiv.1805.01648,
  title  = {Sharp convergence rates for Langevin dynamics in the nonconvex setting},
  author = {Xiang Cheng and Niladri S. Chatterji and Yasin Abbasi-Yadkori and Peter L. Bartlett and Michael I. Jordan},
  journal= {arXiv preprint arXiv:1805.01648},
  year   = {2020}
}

备注

78 pages, 2 figures