基于辅助变量的梯度采样算法

我们引入了一类新的MCMC采样器，其结合了辅助变量、吉布斯采样以及目标密度的泰勒展开。我们的方法允许对辅助变量进行边际化从而得到边际采样器，或扩充辅助变量从而得到辅助采样器。著名的Metropolis-adjusted Langevin算法（MALA）与预条件Crank-Nicolson Langevin（pCNL）算法被证明是特例。我们证明了边际采样器在渐近方差方面更优，并展示了它们相较于辅助采样器在计算时间上更慢的情况。在潜高斯模型背景下，我们提出了新的辅助与边际采样器，其实现仅需一个调谐参数，该参数可在瞬态阶段自动确定。大量实验表明，相对于pCNL、椭圆切片采样和MALA（的优化实现），效率（以每单位计算时间的有效样本量衡量）的提升在二分类问题中为10倍，在对数高斯Cox过程中为25倍，在高斯过程回归中为100倍，并且在一个后两者复杂度相同的例子中与黎曼流形哈密顿蒙特卡洛相当。我们根据备选采样器试图近似目标特征值的方式来解释这一显著改进。我们提出了一种基于辅助采样器的用于超参数学习的新型MCMC采样方案。用于复现文中实验的MATLAB代码已公开可用，且本文的补充材料包含了额外的实验与实现细节。