引导式 Dropout
机器学习
2018-12-11 v1 机器学习
摘要
Dropout 常用于深度神经网络以防止过拟合。 conventionally，dropout 训练调用对神经网络隐藏层节点的随机丢弃（random drop）。我们的假设是，与传统 dropout 相比，对节点进行引导式选择以实现智能丢弃可带来更好的泛化能力。在本研究中，我们提出用于深度神经网络训练的“引导式 dropout”（guided dropout），其通过度量每个节点的强度来丢弃节点。我们还证明，传统 dropout 是所提引导式 dropout 的一种特例。在包括 MNIST、CIFAR10、CIFAR100、SVHN 与 Tiny ImageNet 在内的多个数据集上的实验评估表明了所提引导式 dropout 的有效性。
引用
@article{arxiv.1812.03965,
title = {Guided Dropout},
author = {Rohit Keshari and Richa Singh and Mayank Vatsa},
journal= {arXiv preprint arXiv:1812.03965},
year = {2018}
}
备注
Accepted in AAAI2019