关于贝叶斯神经网络后验分布中先验与过参数化的相互作用
机器学习
2026-03-24 v1 机器学习
摘要
贝叶斯神经网络（BNN）后验常被认为不实用用于推断，因为对称性使其碎片化，非同态性导致维数膨胀，权重空间的先验被视为毫无意义。本文我们研究了过参数化与先验如何共同重塑 BNN 后验，并推导出允许我们更好地理解其相互作用的含义。我们表明，冗余引入了三个关键现象，这些现象从根本上重塑了后验几何：平衡性、在等概率流形上的权重再分配以及先验一致性。我们通过实验验证了我们的发现，实验采样预算远超以往作品，并且演示了过参数化如何诱导结构化、与先验对齐的权重后验分布。
引用
@article{arxiv.2603.22030,
title = {On the Interplay of Priors and Overparametrization in Bayesian Neural Network Posteriors},
author = {Julius Kobialka and Emanuel Sommer and Chris Kolb and Juntae Kwon and Daniel Dold and David Rügamer},
journal= {arXiv preprint arXiv:2603.22030},
year = {2026}
}
备注
Accepted at the 29th International Conference on Artificial Intelligence and Statistics (AISTATS) 2026