超越 Dropout：以特征图失真正则化深度神经网络
机器学习
2020-02-26 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络通常包含大量可训练参数，以从给定数据集中提取强大特征。一方面，海量可训练参数显著提升了这些深度网络的性能；另一方面，它们带来了过拟合问题。为此，基于 dropout 的方法在训练阶段禁用输出特征图中的部分元素，以减少神经元间的共适应。尽管这些方法能提升所得模型的泛化能力，但传统的二值 dropout 并非最优解。因此，我们研究了与深度神经网络中间层相关的经验 Rademacher 复杂度，并提出了一种特征失真方法（Disout）以解决上述问题。在训练期间，利用泛化误差界将特征图中随机选取的元素替换为特定值。我们分析了所提特征图失真方法在生成具有更高测试性能的深度神经网络方面的优越性，并在多个基准图像数据集上进行了验证。
引用
@article{arxiv.2002.11022,
title = {Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks},
author = {Yehui Tang and Yunhe Wang and Yixing Xu and Boxin Shi and Chao Xu and Chunjing Xu and Chang Xu},
journal= {arXiv preprint arXiv:2002.11022},
year = {2020}
}