基于R2D2先验的贝叶斯神经网络特征保持收缩
机器学习
2025-05-27 v1 人工智能
机器学习
摘要
贝叶斯神经网络（BNN）将神经网络权重视为随机变量，旨在通过对后验权重进行推断来提供不确定性估计并避免过拟合。然而，先验分布的选择仍然是一个具有挑战性的任务，且BNN在为先验做出糟糕的选择时可能 suffer from 严重的方差膨胀或不佳的预测性能。现有的BNN设计对权重应用不同的先验，但这些先验的行为使其难以足够收缩噪声信号，或容易过度收缩重要信号。为了缓解这一问题，我们提出一种新的R2D2-Net，将R^2引导的Dirichlet分解（R2D2）先验施加到BNN权重上。R2D2-Net能够有效地将无关系数收缩到接近零，同时防止关键特征过度收缩。为了更准确地近似权重的后验分布，我们进一步提出了一种变分Gibbs推断算法，将Gibbs更新程序与梯度优化相结合。这种策略在变分目标涉及收缩参数为非凸情况时增强了估计的稳定性和一致性。我们也从理论角度分析了证据下界（ELBO）和后验浓度率。在自然图像分类和不确定性估计以及医学图像分类和不确定性估计任务上的实验结果表明，我们的方法表现令人满意。
引用
@article{arxiv.2505.18280,
title = {Feature Preserving Shrinkage on Bayesian Neural Networks via the R2D2 Prior},
author = {Tsai Hor Chan and Dora Yan Zhang and Guosheng Yin and Lequan Yu},
journal= {arXiv preprint arXiv:2505.18280},
year = {2025}
}
备注
To appear in TPAMI