GeneGAN：从非配对数据学习对象变换与属性子空间

对象变换（Object Transfiguration）将一幅图像中的对象替换为来自另一幅图像的对象。例如，它可以执行诸如“将图像A中的那副眼镜精确地戴到图像B中人物的鼻子上”的任务。使用范例图像可更精确地指定所需修改，并提升条件图像生成的多样性。然而，以往依赖特征空间操作的方法需要配对数据和/或外观模型来训练或从背景中解耦对象。本工作中，我们提出一种模型，能从两组非配对图像中学习对象变换：一组包含“有”该类对象的图像，另一组则相反，且附带一个温和约束，即对象大致位于相同位置。例如，训练数据可以是一组戴眼镜的参考人脸图像和一组未戴眼镜的图像，二者均通过人脸关键点进行空间对齐。尽管仅有弱0/1标签，我们的模型仍能学习到一个包含不同类型眼镜多个代表的“眼镜”子空间。因此，我们可以对生成图像进行细粒度控制，例如通过在“眼镜”子空间中交换投影分量来交换两幅图像中的眼镜，从而创作出戴眼镜人物的新颖图像。总体而言，我们的确定性生成模型通过对抗训练从弱标注数据中学习解耦的属性子空间。在CelebA和Multi-PIE数据集上的实验验证了所提模型在真实世界数据上生成具有指定眼镜、微笑、发型和光照条件等图像的有效性。代码已在线提供。