利用目标稀疏正则化充分释放深度神经网络容量并避免过拟合

在相对较小的数据集上训练深度神经网络时，过拟合是最常见的问题之一。本文中，我们证明神经网络激活稀疏性是过拟合的可靠指示因子，并据此提出新颖的目标稀疏可视化与正则化策略。基于这些策略，我们能够以逐层目标方式理解并抑制由激活稀疏性与滤波器相关性引起的过拟合。我们的结果表明，目标稀疏正则化可高效用于正则化知名数据集与架构，在图像分类性能上显著提升，同时优于 dropout 与 batch normalization。最终，我们的研究通过证明目标稀疏正则化能够在充分利用深度模型全部容量且不遭受过拟合的前提下实现显著且具判别性的特征学习，揭示了激活稀疏性与网络容量这一矛盾概念的新见解，即便在过度训练时亦然。