关于使用高阶积分器的随机梯度 MCMC 算法的收敛性

近年来，基于大规模数据的贝叶斯学习取得了进展，见证了随机梯度 MCMC 算法 (SG-MCMC) 的出现，例如随机梯度 Langevin 动力学 (SGLD)、随机梯度 Hamiltonian MCMC (SGHMC) 以及随机梯度恒温器。虽然使用一阶 Euler 积分器的 SGLD 的有限时间收敛性质最近已被研究，但一般 SG-MCMC 的相应理论尚未被探索。在本文中，我们考虑使用高阶积分器的一般 SG-MCMC，并发展理论以分析其有限时间收敛性质及渐近不变测度。我们的理论结果表明，具有高阶积分器的 SG-MCMC 具有更快的收敛速率和更精确的不变测度。例如，使用所提出的高效二阶对称分裂积分器，SGHMC 后验平均的均方误差 (MSE) 在 $L$ 次迭代时达到了 $L^{-4/5}$ 的最优收敛速率，相比之下，使用一阶 Euler 积分器的 SGHMC 和 SGLD 为 $L^{-2/3}$。此外，我们还发展了递减步长 SG-MCMC 的收敛结果，对于特定的递减序列，它们具有与其固定步长对应物相同的收敛速率。在合成数据集和真实数据集上的实验验证了我们的理论，并展示了所提出方法在两个大规模实际应用中的优势。