ATLAS：为 Hamiltonian Monte Carlo 调整轨迹长度与步长

Chirag Modi

ATLAS：为 Hamiltonian Monte Carlo 调整轨迹长度与步长

统计计算 2024-10-30 v1 机器学习机器学习

作者: Chirag Modi

摘要

Hamiltonian Monte Carlo（HMC）及其自动调参变体 No U-Turn Sampler（NUTS）由于采用恒定的蛙跳积分步长和固定的质量矩阵，在精确采样具有复杂几何结构（如曲率变化）的分布时可能会遇到困难。在本工作中，我们开发了一种策略，通过评估局部 Hessian 矩阵的低秩近似并估计其最大特征值，在每次迭代中局部自适应 HMC 的步长参数。我们将其与通过监控无 U 型转弯条件来类似地调整轨迹长度的策略相结合，得到一个自适应采样器 ATLAS：自适应轨迹长度与步长。我们进一步使用延迟拒绝框架进行多次提议，提高了 ATLAS 的计算效率，并开发了一种在预热阶段自动调整其超参数的方法。我们在一系列合成与真实世界的示例上将 ATLAS 与 NUTS 等最先进的采样器进行比较，并表明：i) 与 NUTS 不同，ATLAS 能够精确采样具有复杂几何结构的困难分布；ii) 对于较简单的分布，其计算能力与 NUTS 相当；iii) 它对超参数的调整更具鲁棒性。

关键词

Hamiltonian Monte Carlo No U-Turn Sampler 自适应步长轨迹长度 Hessian 近似 Markov chain Monte Carlo

引用

@article{arxiv.2410.21587,
  title  = {ATLAS: Adapting Trajectory Lengths and Step-Size for Hamiltonian Monte Carlo},
  author = {Chirag Modi},
  journal= {arXiv preprint arXiv:2410.21587},
  year   = {2024}
}

备注

Code available at https://github.com/modichirag/AtlasSampler

ATLAS：为 Hamiltonian Monte Carlo 调整轨迹长度与步长

摘要

关键词

引用

备注

相关论文