理解空间变换网络何时不支持不变性及其应对方法

空间变换网络（STNs）旨在使卷积神经网络（CNNs）能够学习对图像变换的不变性。STNs 最初被提出用于变换 CNN 特征图以及输入图像。这使得在预测变换参数时可使用更复杂的特征。然而，由于 STNs 执行纯空间变换，一般情况下它们无法将变换后图像的特征图与其原始图像的特征图对齐。因此，STNs 在变换 CNN 特征图时无法支持不变性。我们给出了一个简单的证明并研究了实际影响，表明这种无力与分类精度下降相关联。因此我们研究利用复杂特征的替代 STN 架构。我们发现，虽然更深的定位网络难以训练，但与分类网络共享参数的定位网络在加深时保持稳定，从而在困难数据集上实现更高的分类精度。最后，我们探究了定位网络复杂度与迭代图像对齐之间的相互作用。