Dropout缓解欠拟合

由Hinton等人于2012年提出的dropout，作为防止神经网络过拟合的正则化器经受住了时间考验。在本研究中，我们证明dropout若在训练初期使用，也能缓解欠拟合。在早阶段，我们发现dropout降低了小批量间梯度的方向方差，并有助于将小批量梯度与整个数据集的梯度对齐。这有助于抵消SGD的随机性，并限制单个批次对模型训练的影响。我们的发现引出了一种改善欠拟合模型性能的解决方案——早期dropout：dropout仅在训练初始阶段应用，之后关闭。配备早期dropout的模型相比无dropout的对应模型取得了更低的终训练损失。此外，我们探索了一种用于正则化过拟合模型的对称技术——晚期dropout，其中dropout在早期迭代中不使用，仅在训练后期激活。在ImageNet及多种视觉任务上的实验表明，我们的方法持续提升了泛化准确率。我们的结果鼓励更多关于理解深度学习中正则化的研究，且我们的方法可作为未来神经网络训练的有用工具，尤其在大数据时代。代码见https://github.com/facebookresearch/dropout。