中文

局部-全局 MCMC 核:两全其美

机器学习 2022-10-05 v3 机器学习

摘要

最近利用学习来增强采样的工作显示了有希望的结果,特别是通过设计有效的非局部移动和全局提议。然而,在可用数据很少的区域(例如分布的尾部)以及高维问题中,学习精度不可避免地受到限制。在本文中,我们研究了一种结合局部和全局采样器的 Explore-Exploit 马尔可夫链蒙特卡洛策略(Ex2MCMCEx^2MCMC),表明它兼具两种方法的优势。我们证明了 Ex2MCMCEx^2MCMCVV-一致几何遍历性,而不要求全局采样器对目标分布的一致适应。我们还在现实条件下计算了 Explore-Exploit 策略混合速率的显式界限。此外,我们还分析了该策略的一种自适应版本(FlEx2MCMCFlEx^2MCMC),其中在采样时训练归一化流以作为全局移动的提议。我们在经典采样基准以及采样由被视为基于能量模型的生成对抗网络定义的高维分布上,说明了 Ex2MCMCEx^2MCMC 及其自适应版本的效率。我们在以下链接提供了重现实验的代码:https://github.com/svsamsonov/ex2mcmc_new。

关键词

引用

@article{arxiv.2111.02702,
  title  = {Local-Global MCMC kernels: the best of both worlds},
  author = {Sergey Samsonov and Evgeny Lagutin and Marylou Gabrié and Alain Durmus and Alexey Naumov and Eric Moulines},
  journal= {arXiv preprint arXiv:2111.02702},
  year   = {2022}
}

备注

arXiv admin note: text overlap with arXiv:1111.5421 by other authors