Besov 空间中贝叶斯神经网络的渐近性质
机器学习
2022-11-28 v3 机器学习
统计理论
统计理论
摘要
神经网络在处理图像和自然语言等各种非结构化数据时已展现出强大的预测能力。贝叶斯神经网络通过对模型参数施加先验分布并计算后验分布来捕捉预测的不确定性。在本文中，我们证明了采用 spike-and-slab 先验的贝叶斯神经网络在真实回归函数属于 Besov 空间时具有近乎极小极大收敛速率的一致性。即使回归函数的光滑度未知，相同的后验收敛速率依然成立，因此 spike-and-slab 先验能够自适应于回归函数的光滑度。我们还考虑了收缩先验（shrinkage prior），它比其他先验更具可行性，并证明其具有相同的收敛速率。换言之，我们提出了一种具有保证渐近性质的实际可用的贝叶斯神经网络。
引用
@article{arxiv.2206.00241,
title = {Asymptotic Properties for Bayesian Neural Network in Besov Space},
author = {Kyeongwon Lee and Jaeyong Lee},
journal= {arXiv preprint arXiv:2206.00241},
year = {2022}
}