论深度集成中的局部后验结构
机器学习
2025-03-18 v1 机器学习
摘要
与最大后验概率（MAP）等点估计器相比，贝叶斯神经网络通常能改善模型校准和预测不确定性量化。类似地，已知深度集成也能改善校准，因此很自然地可以假设贝叶斯神经网络的深度集成将提供进一步的改进。在这项工作中，我们在多个数据集、神经网络架构和 BNN 近似方法上系统地研究了这一点，令人惊讶地发现，当集成规模足够大时，DE 在分布内数据上始终优于 DE-BNN。为了阐明这一观察结果，我们进行了几项敏感性和消融研究。此外，我们表明，尽管 DE-BNN 在分布外指标上优于 DE，但这是以降低分布内性能为代价的。作为最后的贡献，我们开源了大量训练好的模型池，以促进对该主题的进一步研究。
引用
@article{arxiv.2503.13296,
title = {On Local Posterior Structure in Deep Ensembles},
author = {Mikkel Jordahn and Jonas Vestergaard Jensen and Mikkel N. Schmidt and Michael Riis Andersen},
journal= {arXiv preprint arXiv:2503.13296},
year = {2025}
}
备注
Code and models available at https://github.com/jonasvj/OnLocalPosteriorStructureInDeepEnsembles