DropBlock：一种用于卷积网络的正则化方法
计算机视觉与模式识别
2018-10-31 v1
摘要
深度神经网络在过参数化并配合大量噪声与正则化（如权重衰减和 dropout）训练时往往表现良好。尽管 dropout 被广泛用作全连接层的正则化技术，它对卷积层通常效果较差。dropout 在卷积层上缺乏成功或许是由于卷积层中的激活单元在空间上相关，因此尽管有 dropout，信息仍可通过卷积网络流动。因此需要一种结构化的 dropout 形式来正则化卷积网络。本文中，我们引入 DropBlock，一种结构化的 dropout 形式，其中特征图中连续区域内的单元被一起丢弃。我们发现，除了卷积层外，在跳跃连接中应用 DropBlock 可提高准确率。此外，在训练过程中逐渐增加被丢弃单元的数量可带来更好的准确率和更强的超参数选择鲁棒性。大量实验表明，DropBlock 在正则化卷积网络方面优于 dropout。在 ImageNet 分类上，采用 DropBlock 的 ResNet-50 架构达到了 的准确率，比基线提高超过 。在 COCO 检测上，DropBlock 将 RetinaNet 的平均精度从 提升至 。
引用
@article{arxiv.1810.12890,
title = {DropBlock: A regularization method for convolutional networks},
author = {Golnaz Ghiasi and Tsung-Yi Lin and Quoc V. Le},
journal= {arXiv preprint arXiv:1810.12890},
year = {2018}
}
备注
Accepted at NIPS 2018