Sparseout：控制深度网络中的稀疏性

Dropout 通常用于帮助减少深度神经网络中的过拟合。稀疏性是神经网络一个潜在的重要属性，但基于 Dropout 的正则化并未显式控制该属性。在这项工作中，我们提出了 Sparseout，这是一种简单且高效的 Dropout 变体，可用于控制神经网络中激活值的稀疏性。我们从理论上证明，Sparseout 等价于对广义线性模型特征施加 $L_q$ 惩罚，且对于神经网络而言 Dropout 是 Sparseout 的一个特例。我们通过实验证明，Sparseout 的计算成本很低，并且能够将激活值控制在期望的稀疏水平。我们在图像分类和语言建模任务上评估了 Sparseout，以观察稀疏性对这些任务的影响。我们发现，激活值的稀疏性有利于语言建模性能，而图像分类则受益于更密集的激活值。Sparseout 提供了一种研究 SOTA 深度学习模型中稀疏性的方法。Sparseout 的源代码可在 \url{https://github.com/najeebkhan/sparseout} 找到。