连续 Dropout
计算机视觉与模式识别
2019-12-02 v1 机器学习
神经与进化计算
机器学习
摘要
Dropout 已被证明是一种用于训练鲁棒深度网络的有效算法，因其能够通过避免特征检测器的共适应来防止过拟合。当前对 dropout 的解释包括装袋、朴素贝叶斯、正则化以及进化中的性别。根据人脑神经元的激活模式，在面对不同情境时，神经元的放电速率是随机且连续的，而非如当前 dropout 那样的二值形式。受此现象启发，我们将传统的二值 dropout 扩展为连续 dropout。一方面，连续 dropout 比传统二值 dropout 更贴近人脑神经元的激活特性。另一方面，我们证明连续 dropout 具有避免特征检测器共适应的性质，这意味着我们可以在测试阶段为模型平均提取更多独立的特征检测器。我们将所提出的连续 dropout 应用于前馈神经网络，并在 MNIST、CIFAR-10、SVHN、NORB 和 ILSVRC-12 上与二值 dropout、自适应 dropout 以及 DropConnect 进行了全面比较。充分的实验表明，我们的方法在防止特征检测器共适应方面表现更优，并提升了测试性能。代码见：https://github.com/jasonustc/caffe-multigpu/tree/dropout。
引用
@article{arxiv.1911.12675,
title = {Continuous Dropout},
author = {Xu Shen and Xinmei Tian and Tongliang Liu and Fang Xu and Dacheng Tao},
journal= {arXiv preprint arXiv:1911.12675},
year = {2019}
}
备注
Accepted by TNNLS