信念网络与神经网络中的前馈不确定性传播
机器学习
2018-11-02 v2 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
我们提出了一种适用于信念网络和神经网络的前馈推断方法。在信念网络中，该方法估计给定输入下所有隐藏单元的近似分解后验。在神经网络中，该方法将输入的不确定性传播通过所有层。在注入噪声的神经网络中，该方法解析地考虑了由该噪声引起的不确定性。这种前馈解析传播在参数上是可微的，并且可以进行端到端训练。与仅传播均值的标准 NN 相比，我们传播了均值和方差。该方法在所有需要了解神经元统计量的场景中都很有用，例如在处理不确定输入时，将 sigmoid 激活视为 Bernoulli 单元的概率，训练通过注入噪声（dropout）正则化的模型，或估计数据集上的激活统计量（正如归一化方法所需的那样）。在实验中，我们展示了该方法在所有这些任务中的可能效用及其当前的局限性。
引用
@article{arxiv.1803.10590,
title = {Feed-forward Uncertainty Propagation in Belief and Neural Networks},
author = {Alexander Shekhovtsov and Boris Flach and Michal Busta},
journal= {arXiv preprint arXiv:1803.10590},
year = {2018}
}
备注
error corrections