在单元层面理解贝叶斯神经网络中的先验
机器学习
2019-05-13 v2 机器学习
摘要
我们研究了具有高斯权重先验和一类类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会诱导出L2、“权重衰减”正则化。我们的结果在单元激活的层面上刻画了一种更为复杂的正则化效应。我们的主要结果确立了在激活前和激活后，单元上所诱导的先验分布随着层深的增加而变得越来越重尾。我们表明第一层单元为高斯分布，第二层单元为次指数分布，而更深层的单元则由次Weibull分布刻画。我们的结果为深度贝叶斯神经网络提供了新的理论见解，并通过仿真实验加以证实。
引用
@article{arxiv.1810.05193,
title = {Understanding Priors in Bayesian Neural Networks at the Unit Level},
author = {Mariia Vladimirova and Jakob Verbeek and Pablo Mesejo and Julyan Arbel},
journal= {arXiv preprint arXiv:1810.05193},
year = {2019}
}
备注
10 pages, 5 figures, ICML'19 conference