通过马蹄铁先验进行贝叶斯神经网络中的模型选择
机器学习
2017-05-31 v1
摘要
贝叶斯神经网络（BNN）因其提供良好校准的后验不确定性的能力而近期受到越来越多的关注。然而，模型选择——即便是选择节点数量——仍然是一个开放问题。在这项工作中，我们在贝叶斯神经网络的节点预激活上施加马蹄铁先验，这有效地关闭了无助于解释数据的节点。我们证明，即使所需节点数量被严重高估，我们的先验也能防止 BNN 欠拟合。此外，这种对节点数量的模型选择并不以牺牲预测或计算性能为代价；事实上，我们学习到的更小网络具有与当前方法相当的预测性能。
引用
@article{arxiv.1705.10388,
title = {Model Selection in Bayesian Neural Networks via Horseshoe Priors},
author = {Soumya Ghosh and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:1705.10388},
year = {2017}
}