S3Pool：随机空间采样的池化方法
机器学习
2016-11-17 v1 计算机视觉与模式识别
摘要
卷积神经网络（CNN）中的特征池化层（如最大池化）具有双重作用：提供越来越抽象的表征，以及在后续卷积层中节省计算量。我们将 CNN 中的池化操作视为一个两步过程：首先，一个池化窗口（如 ）以步长 1 在特征图上滑动，保持空间分辨率不变；其次，通过从每个非重叠池化窗口中选取一个像素进行下采样，通常采用均匀且确定性的方式（如左上角）。本工作的出发点是观察到，这种由非重叠窗口产生的规则间隔下采样，虽然从信号处理角度（其目标是信号重建）看很直观，但对于学习（其目标是泛化）而言未必最优。我们研究了这一方面，并提出了一种新颖的随机空间采样池化策略（S3Pool），其中规则下采样被更一般的随机版本所取代。我们观察到，这种普遍的随机性起到了强正则化器的作用，也可视为通过在特征图中引入畸变来进行隐式数据增强。我们进一步引入了一种机制来控制畸变量，以适应不同的数据集和架构。为证明所提方法的有效性，我们在多个流行的图像分类基准上进行了广泛实验，观察到相对于基线模型有显著改进。实验代码见 https://github.com/Shuangfei/s3pool。
引用
@article{arxiv.1611.05138,
title = {S3Pool: Pooling with Stochastic Spatial Sampling},
author = {Shuangfei Zhai and Hui Wu and Abhishek Kumar and Yu Cheng and Yongxi Lu and Zhongfei Zhang and Rogerio Feris},
journal= {arXiv preprint arXiv:1611.05138},
year = {2016}
}