基于谱 dropout 的深度神经网络正则化
计算机视觉与模式识别
2017-11-27 v1
摘要
2012 年 ImageNet 挑战赛上的重大突破部分归功于用于避免过拟合的“dropout”技术。在此，我们引入一种称为“谱 dropout（Spectral Dropout）”的新方法来提升深度神经网络的泛化能力。我们将所提方法构建为使用具有固定基函数的去相关变换的常规卷积神经网络（CNN）权重层形式。我们的谱 dropout 方法通过消除神经网络激活中微弱且“含噪”的傅里叶域系数来防止过拟合，取得了比当前正则化方法明显更好的结果。此外，由于用于谱变换的固定基函数，所提方法非常高效。特别地，与 Dropout 和 Drop-Connect 相比，我们的方法在训练过程中显著加快了网络收敛速度（约 x2），且神经元剪枝率相当更高（提升约 30%）。我们证明了谱 dropout 也可与其他正则化方法结合使用，从而获得额外的性能增益。
引用
@article{arxiv.1711.08591,
title = {Regularization of Deep Neural Networks with Spectral Dropout},
author = {Salman Khan and Munawar Hayat and Fatih Porikli},
journal= {arXiv preprint arXiv:1711.08591},
year = {2017}
}