梯度调整阻尼 Langevin 动力学用于抽样

从目标分布进行抽样是 fundamental 的问题。传统的马可夫链蒙特卡洛（MCMC）算法，如无调节 Langevin 算法（ULA），源自过阻尼 Langevin 动力学，已广泛研究。从优化角度看，过阻尼 Langevin 动力学的 Kolmogorov 前方程可视为在以 Wasserstein-2 度量嵌入的概率密度空间中的相对熵的梯度流。近期努力也致力于包括动量方法，例如用于更快收敛的阻尼 Langevin 动力学抽样算法。最近的优化进展表明，原始-双体阻尼和 Hessian-驱动阻尼动力学在求解优化问题时具有更快收敛速度。这促使我们引入一类称为梯度调整阻尼 Langevin 动力学（GAUL）的随机微分方程（SDE），其在优化中加入原始-双体阻尼动力学和 Hessian-驱动阻尼动力学的随机扰动。我们证明 GAUL 具有正确的平稳分布，其边缘分布为目标分布。所提方法在高斯目标分布的总变差距离中关于收敛速度优于过阻尼和阻尼 Langevin 动力学。此外，利用欧拉-马夫尼采离散方法，我们显示偏置目标分布的混合时间仅取决于目标协方差矩阵条件数的平方根。数值实验针对非高斯目标分布，如贝叶斯回归问题和贝叶斯神经网络，进一步说明了该方法的优势。