用于多模态后验采样的跳跃-扩散朗之万动力学
机器学习
2022-11-04 v1 概率论
摘要
从后验分布中采样的贝叶斯方法因能精确展示模型拟合的不确定性而日益流行。基于迭代随机采样与后验评估的经典方法（如Metropolis-Hastings）具有理想的长程混合性质，但收敛缓慢。基于梯度的方法，如朗之万动力学（及其随机梯度对应方法）在对数凹及“接近”对数凹分布上展现出良好的维度依赖性与快速混合时间，但从局部极小处逃逸的时间也较长。许多当代应用（如贝叶斯神经网络）既高维又高度多模态。本文中，我们研究了一种类似跳跃扩散的混合Metropolis与朗之万采样方法在一系列合成与真实数据上的表现，表明将混合采样跳跃与基于梯度的链进行精细校准可显著优于纯基于梯度或纯基于采样的方案。
引用
@article{arxiv.2211.01774,
title = {Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling},
author = {Jacopo Guidolin and Vyacheslav Kungurtsev and Ondřej Kuželka},
journal= {arXiv preprint arXiv:2211.01774},
year = {2022}
}