使用对称小批量分裂 Langevin 动力学的贝叶斯神经网络后验采样

我们提出了一种可扩展的动力学 Langevin 动力学算法，用于对大数据和 AI 应用的参数空间进行采样。我们的方案将对小批量的对称前向/后向扫描与 Langevin 动力学的对称离散化相结合。对于一种特定的 Langevin 分裂方法（UBU），我们证明了由此产生的对称小批量分裂-UBU（SMS-UBU）积分器在维度 $d>0$、步长 $h>0$ 的情况下具有 $O(h^2 d^{1/2})$ 的偏差，尽管每次迭代仅使用一个小批量，从而提供了对作为步长函数的采样偏差的出色控制。我们将该算法应用于探索贝叶斯神经网络的后验分布的局部众数，并针对三个不同数据集（Fashion-MNIST、Celeb-A 和胸部 X 光片）上的分类问题，评估了具有卷积神经网络架构的神经网络后验预测概率的校准性能。结果表明，使用 SMS-UBU 采样的 BNN 与标准训练方法和随机权重平均方法相比，能够提供显著更好的校准性能。