MaxDropout：基于最大输出值的深度神经网络正则化
机器学习
2020-07-28 v1 机器学习
摘要
深度学习领域出现了多种技术，例如卷积神经网络、深度信念网络和长短期记忆网络等。与此同时，旨在通过惩罚权重连接或关闭某些单元来防止过拟合的正则化方法也被广泛研究。本文提出一种称为 MaxDropout 的新方法，这是一种深度神经网络模型的正则化器，以监督方式通过移除（关闭）各隐藏层中最显著的神经元（即最活跃的）来工作。该模型迫使更少的激活单元学习更具代表性的信息，从而提供稀疏性。在实验方面，我们表明用 MaxDropout 替换 Dropout 可改进现有神经网络并给出更好的结果。所提方法在图像分类中得到评估，取得了与 Cutout 和 RandomErasing 等现有正则化器相当的结果，并且通过将现有层替换为 MaxDropout 提高了使用 Dropout 的神经网络准确率。
引用
@article{arxiv.2007.13723,
title = {MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values},
author = {Claudio Filipi Goncalves do Santos and Danilo Colombo and Mateus Roder and João Paulo Papa},
journal= {arXiv preprint arXiv:2007.13723},
year = {2020}
}