Markov Chain Monte Carlo 中正规化流的实证评估
机器学习
2025-10-10 v2 统计计算
机器学习
摘要
近期的 MCMC 技术进步利用正规化流（normalizing flows）对目标分布进行预条件化，使其能够跳转至远离区域。然而，目前尚无对不同正规化流架构在 MCMC 中系统性比较。许多研究选择 readily available 的简单流架构，而不考虑其他模型。为选择合适架构提供指南，可减少实践者的分析时间，并激励研究者以推荐模型为基础进行改进。我们提供首个此类指南，通过在多种 flow-based MCMC 方法和目标分布上广泛评估众多正规化流架构。当目标密度梯度可用时，我们展示在合适的 NF 架构选择下并经少量 hyperparameter 调整后，flow-based MCMC 可超越经典 MCMC。当梯度不可用时，flow-based MCMC 通过即插即用架构获胜。我们发现 contractive residual flows 是最佳通用模型，参数选择敏感度较低。我们还提供了关于正规化流在 MCMC 中的行为的各种见解，包括 varying their hyperparameters、目标分布特性以及整体计算预算的影响。
引用
@article{arxiv.2412.17136,
title = {Empirical evaluation of normalizing flows in Markov Chain Monte Carlo},
author = {David Nabergoj and Erik Štrumbelj},
journal= {arXiv preprint arXiv:2412.17136},
year = {2025}
}
备注
55 pages, 10 figures. Accepted for publication in Machine Learning; post-review, pre-copyediting version