面向卷积神经网络的 FocusedDropout
计算机视觉与模式识别
2021-03-30 v1
摘要
在卷积神经网络（CNN）中，dropout 不能很好地工作，因为在特征空间相关的卷积层中，丢弃的信息并未完全被遮蔽。除随机丢弃区域或通道外，许多方法试图通过丢弃有影响的单元来克服此缺陷。本文提出一种非随机 dropout 方法 FocusedDropout，旨在使网络更聚焦于目标。在 FocusedDropout 中，我们用一种简单而有效的方式搜索与目标相关的特征，保留这些特征并丢弃其余，这与现有方法相反。我们发现这种新方法可通过使网络更聚焦目标来提升网络性能。此外，在使用 FocusedDropout 时增大权重衰减可避免过拟合并提高准确率。实验结果表明，即便轻微代价——10% 的 batch 采用 FocusedDropout——也能在包括 CIFAR10、CIFAR100、Tiny Imagenet 在内的多个分类数据集上较基线取得良好性能提升，且对不同 CNN 模型具有良好通用性。
引用
@article{arxiv.2103.15425,
title = {FocusedDropout for Convolutional Neural Network},
author = {Tianshu Xie and Minghui Liu and Jiali Deng and Xuan Cheng and Xiaomin Wang and Ming Liu},
journal= {arXiv preprint arXiv:2103.15425},
year = {2021}
}