中文

Langevin MCMC在KL散度下的收敛性

机器学习 2017-11-02 v2

摘要

Langevin扩散是一种从给定分布中采样的常用工具。本文证明,当目标密度 pp^* 满足 logp\log p^*LL 光滑且 mm 强凸时,离散Langevin扩散可在 O~(dϵ)\tilde{O}(\frac{d}{\epsilon}) 步内产生满足 KL(pp)ϵKL(p||p^*)\leq \epsilon 的分布 pp,其中 dd 为样本空间的维数。我们还研究了无强凸性假设时的收敛速率。通过将Langevin扩散视为概率分布空间中的梯度流,我们得到了一个适用于KL散度收敛这一更强性质的简洁分析,并给出了已知较弱度量下最优收敛结果的一个概念上更简单的证明。

关键词

引用

@article{arxiv.1705.09048,
  title  = {Convergence of Langevin MCMC in KL-divergence},
  author = {Xiang Cheng and Peter Bartlett},
  journal= {arXiv preprint arXiv:1705.09048},
  year   = {2017}
}