具有禁忌策略的Dropout用于深度神经网络正则化
机器学习
2018-08-30 v1 机器学习
摘要
Dropout已被证明是一种有效的正则化技术，可防止深度神经网络（DNN）中神经元的协同适应。它在DNN训练阶段以概率随机丢弃单元。Dropout还提供了一种高效近似组合指数级多个不同神经网络架构的方式。在本工作中，我们在dropout中加入了多样化策略，旨在在适当的迭代次数内生成更多不同的神经网络架构。上次前向传播中被丢弃的单元将被标记。然后，当前前向传播（FP）中选定为丢弃的单元若已在上次前向传播中被标记，则予以保留。我们仅标记来自上次前向传播的单元。我们将这一新技术称为Tabu Dropout。与标准Dropout相比，Tabu Dropout没有额外参数，且计算开销低。在MNIST、Fashion-MNIST数据集上的实验表明，Tabu Dropout提升了标准dropout的性能。
引用
@article{arxiv.1808.09907,
title = {Dropout with Tabu Strategy for Regularizing Deep Neural Networks},
author = {Zongjie Ma and Abdul Sattar and Jun Zhou and Qingliang Chen and Kaile Su},
journal= {arXiv preprint arXiv:1808.09907},
year = {2018}
}