Drop-Activation：隐式参数缩减与调和正则化
机器学习
2020-03-31 v5 机器学习
摘要
过拟合在深度学习中频繁发生。本文中，我们提出一种称为 Drop-Activation 的新正则化方法，以减少过拟合并改善泛化。其核心思想是在训练时随机将非线性激活函数设为恒等函数而丢弃它们。在测试时，我们使用带有新激活函数的确定性网络来编码随机丢弃激活的平均效应。我们的理论分析支持 Drop-Activation 作为隐式参数缩减的正则化效应，并验证其与 Batch Normalization（Ioffe 和 Szegedy 2015）协同使用的能力。在 CIFAR-10、CIFAR-100、SVHN、EMNIST 和 ImageNet 上的实验结果表明，Drop-Activation 通常能提升流行神经网络架构在图像分类任务上的性能。此外，作为正则化器，Drop-Activation 可与标准训练及正则化技术（如 Batch Normalization 和 Auto Augment（Cubuk 等 2019））和谐并用。代码见 \url{https://github.com/LeungSamWai/Drop-Activation}。
引用
@article{arxiv.1811.05850,
title = {Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization},
author = {Senwei Liang and Yuehaw Khoo and Haizhao Yang},
journal= {arXiv preprint arXiv:1811.05850},
year = {2020}
}