提高大规模贝叶斯采样中协方差控制的自适应朗之万恒温器的稳定性
机器学习
2026-01-01 v1 机器学习
统计计算
统计方法学
摘要
随机梯度朗之万动力学及其变体在贝叶斯采样设置中，通过随机（且通常小得多的）子集来近似整个数据集的似然。由于计算效率的（通常显著的）提升，它们已被广泛应用于大规模机器学习应用中。已证明，所谓的协方差控制的自适应朗之万 (CCAdL) 恒温器，它包含一个涉及噪声力协方差矩阵的附加项，其性能优于流行的替代方法。CCAdL 中使用移动平均来估计噪声力的协方差矩阵，在这种情况下，协方差矩阵将在长时间极限下收敛到一个常数矩阵。此外，我们的数值实验表明，使用移动平均可能会降低数值积分器的稳定性，从而限制最大可用步长。在本文中，我们提出了一种改进的 CCAdL（即 mCCAdL）恒温器，它使用缩放与平方方法的缩放部分以及指数的截断泰勒级数近似，来数值逼近 CCAdL 中提出的包含附加项的子系统的精确解。我们还为 mCCAdL 提出了一种对称分裂方法，而不是原始 CCAdL 恒温器中使用的欧拉型离散化。我们在数值实验中证明，新提出的 mCCAdL 恒温器在数值稳定性方面比原始 CCAdL 恒温器有显著提升，同时在大规模机器学习应用的数值精度方面显著优于流行的替代随机梯度方法。
引用
@article{arxiv.2512.24515,
title = {Improving the stability of the covariance-controlled adaptive Langevin thermostat for large-scale Bayesian sampling},
author = {Jiani Wei and Xiaocheng Shang},
journal= {arXiv preprint arXiv:2512.24515},
year = {2026}
}