微规范 Langevin 集合：推动贝叶斯神经网络抽样的进步
机器学习
2025-02-11 v1
摘要
尽管近期取得了进展，基于抽样的贝叶斯神经网络(BNN)推断仍是概率深度学习中的重大挑战。虽然抽样方法无需假设变分分布，但当前最先进的抽样器仍难以导航BNN后验分布中复杂且高度多模态的空间。因此，对于小型神经网络，抽样仍需远长于非贝叶斯方法的推断时间，尽管近期软件实现效率提升的进展缓解了这一问题。除了寻找高概率区域的困难外，抽样器提供足够探索这些区域的时间仍是不可预测的。为此，我们引入一种集合方法，利用优化策略和一种近期提出的抽样器——微规范 Langevin 蒙特卡洛(MCLMC)，实现高效、稳健且可预测的抽样性能。与基于最先进的No-U-Turn抽样器的方法相比，我们的方法在多样化任务和数据模态上实现了显著加速，最高可达一个数量级，同时保持或提高预测性能和不确定性定量。此外，建议的微规范 Langevin 集合以及对MCLMC的修改进一步增强了该方法在资源需求方面的可预测性，便于并行化。总体而言，本文提出的方法为BNN的实用、可扩展推断指明了前景。
引用
@article{arxiv.2502.06335,
title = {Microcanonical Langevin Ensembles: Advancing the Sampling of Bayesian Neural Networks},
author = {Emanuel Sommer and Jakob Robnik and Giorgi Nozadze and Uros Seljak and David Rügamer},
journal= {arXiv preprint arXiv:2502.06335},
year = {2025}
}