贝叶斯神经网络与混合密度网络：关于不确定性感知非线性建模的理论与实证洞见
统计计算
2025-10-30 v1 机器学习
摘要
本文探讨了两种主流概率神经建模范式：贝叶斯神经网络（BNNs）和混合密度网络（MDNs），用于不确定性感知非线性回归。虽然 BNNs 通过在网络参数上放置先验分布来融合表观不确定性，但 MDNs 直接建模条件输出分布，从而捕获多模态和异方差数据生成机制。我们提出了统一的理论与实证框架来比较这两种方法。在理论层面，我们在 H"older 光滑性条件下推导收敛率和误差界，表明 MDNs 由于其基于似然的特性，实现更快的 KL 散度收敛；而 BNNs 则因变分推断引入额外的逼近偏差。实证方面，我们在合成非线性数据集和放射国际挑战赛（RSNA 儿童骨龄挑战）基准上评估了两种架构。定量和定性结果表明，MDNs 更有效地捕获多模态响应和自适应不确定性，而 BNNs 在数据有限时提供更具可解释性的表观不确定性。我们的发现阐明了后验基于和似然基于概率学习的互补优势，为非线性系统中的不确定性感知建模提供指导。
引用
@article{arxiv.2510.25001,
title = {Bayesian Neural Networks vs. Mixture Density Networks: Theoretical and Empirical Insights for Uncertainty-Aware Nonlinear Modeling},
author = {Riddhi Pratim Ghosh and Ian Barnett},
journal= {arXiv preprint arXiv:2510.25001},
year = {2025}
}
备注
20 pages, 2 figures