CNN特征图的空间变换无法支持不变识别

大量深度学习架构使用CNN特征图或滤波器的空间变换，以更好地处理由自然图像变换引起的物体外观变化。在本文中，我们证明对于一般的仿射变换，除非提取的特征本身具有不变性，否则CNN特征图的空间变换无法将变换后图像的特征图对齐以匹配原始图像的特征图。我们的证明基于针对单层和多层网络情形的基础分析。结果表明，基于CNN特征图或滤波器空间变换的方法无法替代输入的图像对齐，也无法实现对一般仿射变换的不变识别，特别是对缩放变换或剪切变换。对于旋转和反射，空间变换特征图或滤波器可以实现不变性，但仅适用于具有习得或硬编码的旋转或反射不变特征的网络。