任意基下的数据丢弃用于深度网络正则化

训练高容量深度网络的一个重要问题是确保训练好的网络在面临训练数据集之外的新输入时表现良好。Dropout 是一种有效的正则化技术，可在训练过程中将给定数据及提取特征的元素随机子集置零，从而提升网络泛化能力。本文提出一种新的随机正则化技术，其中我们保留数据的随机部分而不必关闭神经元/数据元素。在所提方法中（传统 dropout 是其特例），随机数据丢弃在任意基下执行，因此称为广义 Dropout（Generalized Dropout）。我们还提出了一个框架，使得所提技术可高效应用于卷积神经网络。数值实验表明，所提技术带来了显著的性能提升。广义 Dropout 为 dropout 的思想提供了新见解，表明通过使用不同的基矩阵可获得不同的性能提升，并提出了如何选择实现最大性能提升的最优基矩阵这一新的研究问题。