通过防止特征检测器的共适应来改进神经网络
神经与进化计算
2012-07-04 v1 计算机视觉与模式识别
机器学习
摘要
当大型前馈神经网络在小训练集上训练时，它在保留的测试数据上通常表现不佳。这种“过拟合”通过在每个训练样本上随机丢弃一半的特征检测器而大大减少。这防止了复杂的共适应，即一个特征检测器仅在几个其他特定特征检测器的上下文中才有帮助。相反，每个神经元学习检测一个特征，该特征在它必须操作的组合多样的内部上下文中通常有助于产生正确答案。随机“dropout”在许多基准任务上带来了巨大改进，并在语音和物体识别方面创下了新纪录。
引用
@article{arxiv.1207.0580,
title = {Improving neural networks by preventing co-adaptation of feature detectors},
author = {Geoffrey E. Hinton and Nitish Srivastava and Alex Krizhevsky and Ilya Sutskever and Ruslan R. Salakhutdinov},
journal= {arXiv preprint arXiv:1207.0580},
year = {2012}
}