通过实现变分推断的 Boosting 来量化概率深度神经网络中的不确定性
机器学习
2025-03-19 v1 机器学习
摘要
现代神经网络架构已取得卓越的准确率,但仍高度依赖其训练数据,且其所学映射往往缺乏可解释性。尽管在大规模数据集上表现良好,但它们在较小数据集上易于过拟合。概率神经网络(例如采用变分推断的神经网络)通过引入基于权重分布而非点估计的不确定性估计来缓解这一局限。然而,标准变分推断通常依赖于单一密度近似,这可能导致后验估计较差并损害模型性能。我们提出 Boosted Bayesian Neural Networks(BBNN),一种利用 Boosting Variational Inference(BVI)增强神经网络权重分布近似的新方法。BVI 通过迭代构建密度混合,扩展了近似族,从而得到更具表达力的后验,带来更好的泛化能力与不确定性估计。尽管该方法增加了计算复杂度,但显著提升了准确率——在高风险应用(如医学诊断)中,假阴性可能带来严重后果,这种权衡尤为关键。实验结果表明,BBNN 在准确率上比传统神经网络高出约 5%,同时提供更优的不确定性量化。这一改进凸显了利用基于混合的变分族来更好地近似后验分布的有效性,推动了概率深度学习的发展。
引用
@article{arxiv.2503.13909,
title = {Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference},
author = {Pavia Bera and Sanjukta Bhanja},
journal= {arXiv preprint arXiv:2503.13909},
year = {2025}
}