贝叶斯神经网络需要完全随机化吗？

Mrinank Sharma; Sebastian Farquhar; Eric Nalisnick; Tom Rainforth

贝叶斯神经网络需要完全随机化吗？

机器学习 2023-02-21 v2 人工智能机器学习

作者: Mrinank Sharma , Sebastian Farquhar , Eric Nalisnick , Tom Rainforth

摘要

我们研究了在贝叶斯神经网络中将所有参数作随机处理的好处，并发现了令人信服的理论和经验证据，表明这种标准构造可能是不必要的。为此，我们证明了具有表达力的预测分布只需要少量的随机性。具体而言，仅具有 $n$ 个随机偏置的部分随机网络是 $n$ 维预测问题的通用概率预测器。在实证研究中，我们在四种不同的推理模式和八个数据集上未发现完全随机化具有系统性优势；部分随机网络能够匹配甚至有时优于完全随机网络，尽管其内存开销更低。

关键词

贝叶斯神经网络部分随机网络预测分布通用概率预测器推理模式

引用

@article{arxiv.2211.06291,
  title  = {Do Bayesian Neural Networks Need To Be Fully Stochastic?},
  author = {Mrinank Sharma and Sebastian Farquhar and Eric Nalisnick and Tom Rainforth},
  journal= {arXiv preprint arXiv:2211.06291},
  year   = {2023}
}

备注

Published at AISTATS2023 (Oral)

贝叶斯神经网络需要完全随机化吗？

摘要

关键词

引用

备注

相关论文