池化对于CNN中恰当的形变稳定性既非必要也非充分
计算机视觉与模式识别
2018-05-28 v2 机器学习
机器学习
摘要
我们关于神经网络如何运作的许多核心假设仍未经实证检验。一个常见假设是卷积神经网络需要对于微小平移和形变稳定，以解决图像识别任务。多年来，这种稳定性通过加入交织的池化层被固化进CNN架构中。然而近来，交织池化已在很大程度上被弃用。这引发了一系列问题：我们关于形变稳定性的直觉究竟是否正确？它重要吗？池化对于形变不变性是必要的吗？若非必要，在没有池化的情况下形变不变性是如何实现的？在这项工作中，我们严谨地检验了这些问题，发现卷积网络中的形变稳定性比初看之下更为微妙：（1）形变不变性并非二元属性，而是不同任务在不同层需要不同程度的形变稳定性。（2）形变稳定性并非网络的固定属性，并在训练过程中通过卷积滤波器的平滑度被大幅调整。（3）交织池化层对于实现自然图像分类所需的最优形变稳定性既非必要也非充分。（4）池化在初始化时为图像分类赋予了过强的形变稳定性，而在训练过程中，网络必须学习抵消这一归纳偏置。总之，这些发现为交织池化与CNN中形变不变性的作用提供了新见解，并证明了即使对我们关于神经网络运作的最基本假设进行严谨实证检验的重要性。
引用
@article{arxiv.1804.04438,
title = {Pooling is neither necessary nor sufficient for appropriate deformation stability in CNNs},
author = {Avraham Ruderman and Neil C. Rabinowitz and Ari S. Morcos and Daniel Zoran},
journal= {arXiv preprint arXiv:1804.04438},
year = {2018}
}
备注
NIPS 2018 submission