贝叶斯神经网络单元先验与广义威布尔尾性质
机器学习
2021-10-07 v1 机器学习
摘要
贝叶斯神经网络与高斯过程之间的联系在过去几年中备受关注。当层宽趋于无穷时，隐藏单元被证明遵循高斯过程极限。近期工作表明，有限贝叶斯神经网络可能优于其无限对应物，因为它们能灵活调整内部表示。为给有限宽度神经网络的未来研究奠定坚实基础，我们旨在研究隐藏单元上所诱导的先验。我们的主要结果是对隐藏单元尾部的精确描述，其通过引入的广义威布尔尾概念表明，单元先验随网络层数加深而变得更重尾。该发现揭示了有限贝叶斯神经网络隐藏单元的行为。
引用
@article{arxiv.2110.02885,
title = {Bayesian neural network unit priors and generalized Weibull-tail property},
author = {Mariia Vladimirova and Julyan Arbel and Stéphane Girard},
journal= {arXiv preprint arXiv:2110.02885},
year = {2021}
}
备注
16 pages, 2 figures, ACML 2021