通过最小化 Fisher 发散实现 Hamiltonian Monte Carlo 的 preconditioning
统计计算
2026-03-20 v1
摘要
Hamiltonian Monte Carlo（HMC）在维数上按 扩展，但其常数因子由目标密度曲率决定。通过 preconditioning 可显著降低该常数因子，当前最佳方法基于对 warmup 采样的对角或稠密惩罚最大似然估计（co）方差。对角情形下收敛缓慢，稠密情形下计算规模大。本文提出更有效的估计器，基于最小化样本 Fisher 发散从线性变换密度到标准正态分布。本文以三种形式呈现该估计器：（a）对角形式，（b）稠密形式，（c）低秩加对角形式。基于 posteriordb 中的 114 个模型实验表明，对角 Fisher 发散最小化估计器，以中位数为例，优于 Stan 与 PyMC 的行业标准方差基准估计器 1.3 倍。低秩加对角 Fisher 发散最小化估计器，以中位数为例，优于 Stan 与 PyMC 的对角估计器 4 倍。
引用
@article{arxiv.2603.18845,
title = {Preconditioning Hamiltonian Monte Carlo by minimizing Fisher Divergence},
author = {Adrian Seyboldt and Eliot L. Carlson and Bob Carpenter},
journal= {arXiv preprint arXiv:2603.18845},
year = {2026}
}