卷积神经网络对平移不具有不变性，但它们可以学习获得
计算机视觉与模式识别
2021-10-13 v1 人工智能
摘要
当看到一个新物体时，人类可以立即在不同视网膜位置识别它：内部物体表征对平移是不变的。人们通常认为卷积神经网络（CNNs）由于其具备的卷积和/或池化操作而在架构上对平移不变。事实上，若干研究发现这些网络系统性地无法识别未经训练位置上的新物体。在这项工作中，我们测试了多种 CNN 架构，表明除 DenseNet-121 外，所测模型无一在架构上对平移不变。然而，它们都能学习获得对平移的不变性。我们展示了如何通过对 ImageNet 的预训练实现这一点，并且当所有物品在输入画布上被完全平移时，有时用更简单的数据集也能做到。同时，由于灾难性遗忘/干扰，这种不变性可能被进一步训练破坏。这些实验表明，在具有正确“潜在”特征（更自然化的环境）的环境上预训练网络，可使网络学习到深层感知规则，从而显著改善后续泛化。
引用
@article{arxiv.2110.05861,
title = {Convolutional Neural Networks Are Not Invariant to Translation, but They Can Learn to Be},
author = {Valerio Biscione and Jeffrey S. Bowers},
journal= {arXiv preprint arXiv:2110.05861},
year = {2021}
}