具有一般权重先验的全连接贝叶斯神经网络的后验收缩性
机器学习
2024-03-22 v1 机器学习
摘要
用于训练深度神经网络（BNNs）的贝叶斯方法受到了广泛关注，并已在众多应用中得到有效利用。关于 BNN 后验收缩性质已有若干研究。然而，这些研究大多仅在具有稀疏或重尾先验的 BNN 模型中展示结果。令人惊讶的是，目前对于使用最普遍的高斯先验的 BNN，尚无理论结果。理论的缺失源于缺乏非稀疏且具有有界参数的深度神经网络（DNNs）的逼近结果。在本文中，我们为非稀疏且有界参数的 DNN 提出了一种新的逼近理论。此外，基于该逼近理论，我们证明了具有非稀疏一般先验的 BNN 可以达到对真实模型的近极小极大最优后验收缩速率。
引用
@article{arxiv.2403.14225,
title = {Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights},
author = {Insung Kong and Yongdai Kim},
journal= {arXiv preprint arXiv:2403.14225},
year = {2024}
}