DropCluster：一种用于卷积网络的结构化 dropout
机器学习
2025-06-05 v2 计算机视觉与模式识别
机器学习
摘要
Dropout 作为防止深度神经网络过拟合的常用正则化器，在卷积层中的效果不如在全连接层中。这是因为 Dropout 随机丢弃特征，而未考虑局部结构。当特征在空间上相关时，如在卷积层中的情形，被丢弃特征的信息仍可通过邻近特征传播到后续层。为解决此问题，已提出结构化形式的 Dropout。这些方法的一个缺陷是它们不能适应数据。在本工作中，我们利用卷积层输出中的结构，引入一种名为 DropCluster 的新型结构化正则化方法。我们的方法对卷积层中的特征进行聚类，并在训练迭代中随机丢弃所得簇。在 CIFAR-10/100、SVHN 和 APPA-REAL 数据集上的实验表明，我们的方法有效且比其他方法更好地控制过拟合。
引用
@article{arxiv.2002.02997,
title = {DropCluster: A structured dropout for convolutional networks},
author = {Liyan Chen and Philippos Mordohai and Sergul Aydore},
journal= {arXiv preprint arXiv:2002.02997},
year = {2025}
}
备注
11 pages, 10 figures, under review