面向贝叶斯神经网络的随机梯度拉姆达斯动力学自适应步长
机器学习
2026-04-10 v3 机器学习
摘要
贝叶斯神经网络（BNNs）需要可扩展的采样算法来逼近参数上的后验分布。现有随机梯度马可夫链蒙特卡洛（SGMCMC）方法对步长选择高度敏感，自适应变体如pSGLD通常在不加入代价昂贵的发散校正项的情况下无法采样正确的不变测度。在本文中，我们基于最近提出的`SamAdams'框架（Leimkuhler, Lohmann, and Whalley 2025），引入自适应方案：SA-SGLD，通过时间重缩放来调节步长，根据监控的量（通常为局部梯度范数）进行调节。SA-SGLD能够在高曲率区域自动缩小步长，在平坦区域扩大步长，提升稳定性和混合性，同时无引入偏差。我们展示该方法在高曲率二维玩具示例中以及使用尖锐先验的图像分类BNN中，比SGLD实现更准确的后验采样。
引用
@article{arxiv.2511.11666,
title = {Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks},
author = {Rajit Rajpal and Benedict Leimkuhler and Yuanhao Jiang},
journal= {arXiv preprint arXiv:2511.11666},
year = {2026}
}