用于鲁棒贝叶斯深度学习的稳定化先验
机器学习
2019-10-24 v1 机器学习
摘要
由于变分推断的近期进展使得大规模贝叶斯神经网络（BNN）成为可能，BNN 已发展为概率建模的有用工具。然而，BNN 仍然脆弱且难以训练，尤其是：(1) 当使用由许多隐藏层组成的深度架构时，以及 (2) 在权重方差较大的情形下。我们利用信号传播理论来量化这些挑战，并提出自稳定化先验。这是通过重新表述 ELBO 以允许先验影响网络信号传播来实现的。然后，我们开发了一种稳定化先验，其中先验的分布参数在每次前向传播前进行调整，以确保传播信号的稳定性。这种稳定的信号传播带来了改进的收敛性与鲁棒性，使得在更深网络与更嘈杂环境中进行训练成为可能。
引用
@article{arxiv.1910.10386,
title = {Stabilising priors for robust Bayesian deep learning},
author = {Felix McGregor and Arnu Pretorius and Johan du Preez and Steve Kroon},
journal= {arXiv preprint arXiv:1910.10386},
year = {2019}
}
备注
3 pages, accepted at Bayesian Deep learning workshop NeurIPS 2019