面向深度贝叶斯神经网络后验的局部自适应与可扩展扩散采样方法的收敛性研究
机器学习
2024-03-15 v2 机器学习
摘要
在深度学习的许多现实应用中，例如需要评估神经网络预测可靠性的医学影像领域，实现对深度神经网络的鲁棒不确定性量化是一项重要需求。贝叶斯神经网络是对深度神经网络中的不确定性进行建模的一种有前景的方法。然而，从神经网络的后验分布中生成样本是一个重大挑战。该方向的一个重要进展是将自适应步长（类似于现代神经网络优化器）引入蒙特卡罗马尔可夫链采样算法，同时不显著增加计算需求。过去几年中，一些论文提出了声称具有此特性的采样算法。但是，它们是否确实收敛到正确的分布？本文证明，即使在步长趋于零且使用全批量大小的极限情况下，这些方法所采样的分布也可能存在显著偏差。
引用
@article{arxiv.2403.08609,
title = {On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors},
author = {Tim Rensmeyer and Oliver Niggemann},
journal= {arXiv preprint arXiv:2403.08609},
year = {2024}
}