DropFilter：一种用于学习卷积神经网络的正则化新方法
机器学习
2018-11-20 v2 计算机视觉与模式识别
机器学习
摘要
过去几年中，针对全连接深度神经网络（DNNs）和卷积神经网络（CNNs）等深度学习模型的不同正则化方法快速发展。以往大多数方法主要考虑从输入数据和隐藏层中丢弃特征，如 Dropout、Cutout 和 DropBlocks。DropConnect 选择丢弃全连接层之间的连接。通过随机丢弃一些特征或连接，上述方法控制了过拟合问题并提升了神经网络性能。本文提出两种新颖的正则化方法，即 DropFilter 和 DropFilter-PLUS，用于 CNNs 的学习。与以往方法不同，DropFilter 和 DropFilter-PLUS 选择修改卷积滤波器。对于 DropFilter-PLUS，我们基于理论分析找到了一种加速学习过程的合适方法。在 MNIST 上的实验结果表明，使用 DropFilter 和 DropFilter-PLUS 可提升图像分类任务的性能。
关键词
引用
@article{arxiv.1811.06783,
title = {DropFilter: A Novel Regularization Method for Learning Convolutional Neural Networks},
author = {Hengyue Pan and Hui Jiang and Xin Niu and Yong Dou},
journal= {arXiv preprint arXiv:1811.06783},
year = {2018}
}
备注
6 pages