通过混合变异因素实现因素解耦

我们提出一种学习图像表示的方法，该表示由解耦的变异因素组成，且不利用任何人工标注或数据领域知识。一个变异因素对应于可在一组图像中一致辨别的图像属性，例如物体的姿态或颜色。我们的解耦表示由特征块拼接而成，每个块表示一个变异因素。它支持诸如将属性从一幅图像迁移到另一幅图像（通过简单地混合与解混特征块），以及基于一个或多个属性进行分类或检索（通过考虑用户指定的特征块子集）等应用。我们在无任何标注或数据领域知识的情况下，使用带有两个新颖训练目标的自编码器架构来学习该表示：首先，我们提出一个不变性目标，以鼓励每个属性的编码与每个块的解码分别对其他属性与块的变化保持不变；其次，我们引入一个分类目标，确保每个块对应于所表示图像中一致可辨别的属性，从而避免某些块被完全忽略的退化特征映射。我们在 MNIST、Sprites 和 CelebA 数据集上展示了我们方法的有效性。