以低秩局部连接重新审视空间不变性
计算机视觉与模式识别
2020-08-18 v2 机器学习
机器学习
摘要
卷积神经网络是深度学习中最成功的架构之一，其成功至少部分归因于空间不变性作为一种归纳偏置的有效性。局部连接层与卷积层的区别仅在于缺乏空间不变性，在实践中通常表现不佳。然而，这些观察仍留下一种可能：对空间不变性的某种程度的松弛可能比卷积或局部连接产生更好的归纳偏置。为验证该假设，我们设计了一种以受控方式松弛网络层空间不变性的方法；我们创建了低秩局部连接层，其中在每个位置应用的滤波器组被构造为一组基滤波器组以空间变化组合权重的线性组合。通过改变基滤波器组的数量，我们可以控制空间不变性松弛的程度。在使用小型卷积网络的实验中，我们发现，在 MNIST、CIFAR-10 和 CelebA 数据集上，松弛空间不变性比卷积层和局部连接层都提高了分类精度，从而表明空间不变性可能是一个过于严格的先验。
引用
@article{arxiv.2002.02959,
title = {Revisiting Spatial Invariance with Low-Rank Local Connectivity},
author = {Gamaleldin F. Elsayed and Prajit Ramachandran and Jonathon Shlens and Simon Kornblith},
journal= {arXiv preprint arXiv:2002.02959},
year = {2020}
}