离散空间中局部平衡提议的最优尺度
机器学习
2022-10-17 v2
摘要
最优尺度在连续空间的Metropolis-Hastings（M-H）算法中已被充分研究，但在离散空间中尚缺乏类似认识。近来，一类针对离散空间的局部平衡提议（LBP）被证明是渐近最优的，但最优尺度问题仍悬而未决。本文首次确立，离散空间中M-H的效率同样可由与目标分布无关的渐近接受率来刻画。此外，我们从理论和经验上验证，LBP与随机游走Metropolis（RWM）的最优接受率分别为和。这些结果也有助于确立，相对于模型维度，LBP在渐近意义上比RWM效率高。对最优接受率的了解使人能够自动调节离散空间中提议分布的邻域大小，直接类比于连续空间中的步长控制。我们通过经验证明，此类自适应M-H采样能稳健地改善离散空间中多种目标分布的采样，包括训练深度能量基模型。
引用
@article{arxiv.2209.08183,
title = {Optimal Scaling for Locally Balanced Proposals in Discrete Spaces},
author = {Haoran Sun and Hanjun Dai and Dale Schuurmans},
journal= {arXiv preprint arXiv:2209.08183},
year = {2022}
}