针对 Metropolis 调整朗之万轨迹的自适应调参
统计计算
2023-02-23 v2
摘要
哈密顿蒙特卡洛（HMC）是一种广泛使用的连续概率分布采样器。在许多情况下，底层哈密顿动力学表现出共振现象，这降低了算法效率并使其对超参数值非常敏感。该问题可通过轨迹长度随机化（RHMC）或部分动量刷新来有效解决。第二种方法与动力学朗之万扩散相关，主要通过广义 HMC（GHMC）进行研究。然而，GHMC 在拒绝时引发动量翻转，导致采样器回溯并浪费计算资源。在本工作中，我们关注一种近期规避此问题的算法，名为 Metropolis 调整朗之万轨迹（MALT）。我们基于近期针对 RHMC 超参数调参的策略（其目标是有效样本量（ESS）的界）进行构建，并将其适配到 MALT，从而实现该算法的首次用户友好部署。我们构造了一种方法来优化更紧的 ESS 界并降低估计器方差。该方法易于与并行实现兼容，所得的自适应 MALT 算法在 ESS 速率方面具有竞争力，并且在与 GHMC、RHMC 和 NUTS 比较时，在内存使用上取得了有益的权衡。
引用
@article{arxiv.2210.12200,
title = {Adaptive Tuning for Metropolis Adjusted Langevin Trajectories},
author = {Lionel Riou-Durand and Pavel Sountsov and Jure Vogrinc and Charles C. Margossian and Sam Power},
journal= {arXiv preprint arXiv:2210.12200},
year = {2023}
}
备注
Improve figure colors; clarify text; add extra supplement figure