基于单图像的无监督新视角合成

基于单图像的新视角合成近期取得了显著成果，尽管训练时对某种形式的3D、位姿或多视角监督的需求限制了其在真实场景中的部署。本工作旨在放宽这些假设，以完全无监督的方式训练用于新视角合成的条件生成模型。我们首先使用3D感知GAN公式预训练一个纯生成式解码器模型，同时训练一个编码器网络以反转从潜空间到图像的映射。然后，我们交换编码器与解码器，并将网络训练为带自编码器式目标与自蒸馏混合的条件GAN。测试时，给定物体的一视图，我们的模型首先将图像内容嵌入潜码并回归其位姿，随后通过保持码固定并改变位姿来生成其新视角。我们在ShapeNet等合成数据集以及无约束自然图像集合上测试了框架，后者无法训练竞争方法。