量化变换自编码器：在深度网络中实现对任意变换的等变性

在这项工作中，我们研究了如何纯粹从数据中实现深度网络对输入变换的等变性，而无需给定这些变换的模型。例如，卷积神经网络（CNN）对图像平移具有等变性，这是一种可以轻松建模的变换（通过垂直或水平移动像素）。其他变换，如平面外旋转，则没有简单的解析模型。我们提出了一种自编码器架构，其嵌入同时遵循任意一组等变关系，例如平移、旋转、颜色变化等。这意味着它可以接收一张输入图像，并生成以前未观察到的、经过给定变换量的版本（例如，同一物体的不同视角，或颜色变化）。尽管扩展到许多（甚至非几何的）变换，我们的模型在平移等变性的特殊情况下精确地退化为一个CNN。等变性对于深度网络的可解释性和鲁棒性至关重要，我们在多个合成和真实数据集上展示了成功重新渲染输入图像变换版本的结果，以及在物体姿态估计上的结果。