之字形路径连接两种蒙特卡洛采样器:分段确定性马尔可夫过程的哈密顿对应
统计计算
2024-07-31 v4 概率论
摘要
之字形及其他分段确定性马尔可夫过程采样器因其非可逆性及贝叶斯后验计算的其他吸引性质而备受关注。哈密顿蒙特卡洛是另一种最先进的采样器,利用虚构动量引导马尔可夫链穿越复杂目标分布。我们建立了之字形采样器与基于拉普拉斯分布动量的哈密顿蒙特卡洛变体之间的重要联系。相应哈密顿动力学的位形与速度分量沿平行于马尔可夫之字形过程的之字形路径运动;然而,该动力学在此位形-速度空间中是非马尔可夫的,因为动量分量编码了非即时过去。该信息在动量刷新步骤中部分丢失,我们保留其方向但重新采样大小。在动量刷新愈发频繁的极限下,我们证明哈密顿之字形强收敛于其马尔可夫对应。该理论见解表明,当保留完整动量信息时,哈密顿之字形可通过抑制马尔可夫之字形的扩散行为,更好地探索具有高度相关参数的目标分布。我们在高维截断多元高斯(包括源于HIV病毒数据贝叶斯系统发育多元probit建模的11,235维目标)上比较两种之字形变体性能,佐证了这一直觉。
引用
@article{arxiv.2104.07694,
title = {Zigzag path connects two Monte Carlo samplers: Hamiltonian counterpart to a piecewise deterministic Markov process},
author = {Akihiko Nishimura and Zhenyu Zhang and Marc A. Suchard},
journal= {arXiv preprint arXiv:2104.07694},
year = {2024}
}
备注
Code available at https://github.com/aki-nishimura/code-for-hamiltonian-zigzag-2024 and data at http://doi.org/10.5281/zenodo.4679720