为 Metropolis 接受/拒绝决策非可逆地更新均匀 [0,1] 值
统计计算
2020-02-03 v1 机器学习
摘要
我展示了如何将 Metropolis 接受/拒绝决策表达为与均匀 [0,1] 值 u 的比较,然后将 u 作为马尔可夫链状态的一部分进行非可逆更新,而非每次迭代独立采样,这样做是有益的。这对于高维中的随机游走 Metropolis 和 Langevin 更新提供了微小的改进。当使用具有持续动量的 Langevin 更新时,它产生了更大的改进,给出的性能可与具有长轨迹的 Hamiltonian Monte Carlo (HMC) 相媲美。当某些变量通过其他方法更新时,这一点具有重要意义,因为若使用 HMC,这些更新只能在轨迹之间进行,而使用 Langevin 更新则可更频繁地进行。我证明,对于一个包含由 HMC 或 Langevin 更新的一些连续变量,以及由在连续变量更新之间用 Gibbs 采样更新的离散变量的问题,Langevin 配合持续动量及对 u 的非可逆更新比 HMC 的采样效率高近两倍。对于超参数通过 Gibbs 采样更新的贝叶斯神经网络模型,也观察到了益处。
引用
@article{arxiv.2001.11950,
title = {Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions},
author = {Radford M. Neal},
journal= {arXiv preprint arXiv:2001.11950},
year = {2020}
}