探索卷积神经网络的 Dropout 训练
机器学习
2015-12-02 v1 计算机视觉与模式识别
神经与进化计算
摘要
近年来，dropout 在深度学习中的应用日益广泛。对于深度卷积神经网络，已知 dropout 在全连接层中表现良好。然而，其在卷积层和池化层中的效果仍不明确。本文证明，最大池化 dropout 在训练时等价于基于多项分布随机选取激活值。基于这一见解，我们提倡采用本文提出的概率加权池化替代常用的最大池化，以在测试时实现模型平均。实验证据验证了概率加权池化的优越性。我们还通过实验表明，尽管卷积架构极大地降低了过拟合的可能性，卷积 dropout 的作用仍不可忽视。通过在最大池化层和全连接层中同时精心设计 dropout 训练，我们在 MNIST 上取得了 SOTA 性能，并在无数据增强的条件下于 CIFAR-10 和 CIFAR-100 上取得了极具竞争力的结果。最后，我们比较了最大池化 dropout 和随机池化，两者均在池化阶段引入了基于多项分布的随机性。
引用
@article{arxiv.1512.00242,
title = {Towards Dropout Training for Convolutional Neural Networks},
author = {Haibing Wu and Xiaodong Gu},
journal= {arXiv preprint arXiv:1512.00242},
year = {2015}
}
备注
This paper has been published in Neural Networks, http://www.sciencedirect.com/science/article/pii/S0893608015001446