用于卷积神经网络正则化的最大池化 Dropout
机器学习
2015-12-07 v1 计算机视觉与模式识别
神经与进化计算
摘要
近来，dropout 在深度学习中得到越来越多应用。对于深度卷积神经网络，已知 dropout 在全连接层中效果良好。然而其在池化层中的作用仍不明确。本文证明最大池化 dropout 等价于训练时基于多项分布随机选取激活值。鉴于此见解，我们主张采用所提出的概率加权池化替代常用的最大池化，在测试时充当模型平均。经验证据验证了概率加权池化的优越性。我们还比较了最大池化 dropout 与随机池化，二者均在池化阶段引入基于多项分布的随机性。
引用
@article{arxiv.1512.01400,
title = {Max-Pooling Dropout for Regularization of Convolutional Neural Networks},
author = {Haibing Wu and Xiaodong Gu},
journal= {arXiv preprint arXiv:1512.01400},
year = {2015}
}
备注
The journal version of this paper [arXiv:1512.00242] has been published in Neural Networks, http://www.sciencedirect.com/science/article/pii/S0893608015001446