贝叶斯神经网络后验的对称性感知探索
机器学习
2023-10-13 v1 机器学习
摘要
现代深度神经网络(DNNs)权重的分布——对不确定性量化和鲁棒性至关重要——由于其极高的维度而是一个极为复杂的对象。本文提出了对深度贝叶斯神经网络(BNNs)后验分布的首批大规模探索之一，将其研究扩展到现实世界的视觉任务和架构。具体而言，我们研究了近似后验的最优方法，分析了后验质量与不确定性量化之间的联系，深入探讨了模式对后验的影响，并探索了可视化后验的方法。此外，我们揭示了权重空间对称性作为理解后验的关键方面。为此，我们深入评估了置换对称性和缩放对称性这两者倾向于混淆贝叶斯后验的影响。虽然第一类变换因复制模式而已知，我们探索了后者与 L2 正则化之间的关系，挑战了先前的误解。最后，为帮助社区增进对贝叶斯后验的理解，我们将很快发布首个大规模检查点数据集，包含数千个现实世界模型和我们的代码。
引用
@article{arxiv.2310.08287,
title = {A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors},
author = {Olivier Laurent and Emanuel Aldea and Gianni Franchi},
journal= {arXiv preprint arXiv:2310.08287},
year = {2023}
}