稀疏编码神经网络中的不确定性传播
机器学习
2018-12-03 v1 机器学习
摘要
本文提出一种通过软阈值非线性层传播不确定性的新方法。在每一层,目标向量的当前分布表示为 spike and slab(尖峰-板)分布,其表示各变量为零或服从高斯分布的概率。利用所提出的不确定性传播方法,推导了归一化常数对数的梯度,可用于更新权重分布。利用所提出的不确定性传播方法与贝叶斯推断算法,设计了一种用于稀疏编码的新型贝叶斯神经网络。
引用
@article{arxiv.1811.12465,
title = {Uncertainty propagation in neural networks for sparse coding},
author = {Danil Kuzin and Olga Isupova and Lyudmila Mihaylova},
journal= {arXiv preprint arXiv:1811.12465},
year = {2018}
}
备注
Presented at the third workshop on Bayesian Deep Learning (NeurIPS 2018)