随机梯度朗之万扩散中的子采样误差

随机梯度朗之万动力学（SGLD）被广泛用于在有大规模数据的统计学习过程中近似贝叶斯后验分布。与许多通常的马尔可夫链蒙特卡洛（MCMC）算法不同，SGLD 并非关于后验分布的平稳分布；出现了两个误差来源：第一个误差由朗之万扩散过程的 Euler–Maruyama 离散化引入，第二个误差来自使该方法能用于大规模数据设置的子采样。在这项工作中，我们考虑 SGLD 的理想化版本，以分析方法纯粹的亚采样误差，我们随后将其视为基于扩散的子采样 MCMC 方法的最佳情形误差。事实上，我们引入并研究了随机梯度朗之万扩散（SGLDiff），这是一个连续时间马尔可夫过程，它遵循对应于数据子集的朗之万扩散，并在指数等待时间后切换该数据子集。在此，我们展示了 SGLDiff 的指数遍历性，以及后验与 SGLDiff 极限分布之间的 Wasserstein 距离以上界为平均等待时间的分数次幂。我们将我们的结果与其他对 SGLD 的分析联系起来。