宽神经网络中蒙特卡洛 dropout 的特性
机器学习
2020-07-13 v1 统计理论
机器学习
统计理论
摘要
蒙特卡洛(MC) dropout 是神经网络(NNs)不确定性估计的先进方法之一。它已被解释为近似执行贝叶斯推断。基于先前关于具有随机权重的宽且深神经网络对高斯过程近似的工作，我们更严格地研究 dropout 下宽未训练神经网络的限制分布，并证明对于固定权重和偏置集合它们同样收敛于高斯过程。我们勾勒一个论证，即该性质也可能对用(全批量)梯度下降训练的无限宽前馈网络成立。该理论与实证分析相对照，其中我们发现有限宽度神经网络预激活的相关性和非高斯行为。因此我们研究(强)相关预激活如何能在具有强相关权重的神经网络中诱导非高斯行为。
引用
@article{arxiv.2007.05434,
title = {Characteristics of Monte Carlo Dropout in Wide Neural Networks},
author = {Joachim Sicking and Maram Akila and Tim Wirtz and Sebastian Houben and Asja Fischer},
journal= {arXiv preprint arXiv:2007.05434},
year = {2020}
}
备注
Accepted at the ICML 2020 workshop for Uncertainty and Robustness in Deep Learning