广义 Dropout
机器学习
2016-11-22 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
深度神经网络通常需要良好的正则化器才能实现良好的泛化。Dropout 就是这样一种被深度学习从业者广泛使用的正则化器。最近的工作表明，Dropout 也可以被视为在网络参数上执行近似贝叶斯推断。在本工作中，我们推广了这一概念，并引入了一个丰富的正则化器家族，我们称之为广义 Dropout。该家族中的一组方法名为 Dropout++，是带有可训练参数的 Dropout 版本。经典 Dropout 是该方法的一个特例。该家族中的另一个成员用于选择神经网络层的宽度。实验表明，这些方法有助于在 Dropout 的基础上提升泛化性能。
引用
@article{arxiv.1611.06791,
title = {Generalized Dropout},
author = {Suraj Srinivas and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:1611.06791},
year = {2016}
}