No-U-Turn 采样器：在 Hamiltonian Monte Carlo 中自适应设定路径长度

Hamiltonian Monte Carlo (HMC) 是一种 Markov chain Monte Carlo (MCMC) 算法，它通过利用一阶梯度信息进行一系列步进来避免许多 MCMC 方法所困扰的随机游走行为和对相关参数的敏感性。这些特性使其能够比随机游走 Metropolis 或 Gibbs 采样等更简单的方法快得多地收敛到高维目标分布。然而，HMC 的性能对两个用户指定的参数高度敏感：步长 $\epsilon$ 和期望步数 $L$。特别是，如果 $L$ 太小，算法会表现出不理想的随机游走行为；而如果 $L$ 太大，算法会浪费计算量。我们引入了 No-U-Turn Sampler (NUTS)，作为 HMC 的一种扩展，消除了设定步数 $L$ 的需要。NUTS 使用递归算法构建一组可能候选点，这些点跨越目标分布的宽阔区域，并在开始折返和原路折回时自动停止。实验表明，NUTS 的表现至少与经过良好调参的标准 HMC 方法一样高效，有时甚至更高效，且不需要用户干预或昂贵的调参运行。我们还推导出一种基于原始-对偶平均法在运行中自适应调整步长参数 $\epsilon$ 的方法。因此，NUTS 完全无需手动调参即可使用。NUTS 也适用于诸如 BUGS 风格的自动推断引擎等应用，这些应用需要高效的“即插即用”采样算法。