CNN中的步幅与平移不变性
机器学习
2021-03-19 v1
摘要
卷积神经网络（CNN）已成为图像分类任务的标准，然而这些架构对输入图像的平移并不具有不变性。这种不变性的缺失归因于步幅的使用忽略了采样定理，以及全连接层缺乏空间推理能力。我们表明，若将步幅与相邻像素间充分的相似性（我们称之为局部同质性）相结合，步幅可极大有益于平移不变性。我们还观察到该特性是数据集相关的，并决定了为实现平移不变性所需的池化核大小与步幅之间的关系。此外，我们发现池化核大小在泛化与平移不变性之间存在权衡，因为更大的核尺寸带来更好的不变性但更差的泛化。最后，我们通过局部同质性的视角并从经验上探讨了其他已提出解决方案的有效性，即全局平均池化、抗混叠与数据增强。
引用
@article{arxiv.2103.10097,
title = {Stride and Translation Invariance in CNNs},
author = {Coenraad Mouton and Johannes C. Myburgh and Marelie H. Davel},
journal= {arXiv preprint arXiv:2103.10097},
year = {2021}
}