利用多投影生成对抗网络从轮廓图像集合合成三维形状

我们提出一种新的基于弱监督学习的方法，用于从无遮挡图像集合生成新颖的类别特定三维形状。我们的方法是弱监督的，仅需要来自无遮挡、类别特定物体的轮廓标注。我们的方法不需要访问物体的三维形状、每个物体来自不同视角的多次观测、图像内像素对应或任何视角标注。我们方法的关键在于一种新颖的多投影生成对抗网络（multi-projection generative adversarial network, MP-GAN），其训练一个三维形状生成器与三维形状的多个二维投影保持一致，而无需直接访问这些三维形状。这是通过多个判别器实现的，这些判别器从不同视角编码所见三维形状的二维投影分布。此外，为确定每张轮廓图像的视角信息，我们还在由生成器合成的三维形状可视化上训练了一个视角预测网络。我们迭代地交替训练生成器和训练视角预测网络。我们在合成和真实图像数据集上验证了我们的多投影 GAN。此外，我们还展示了多投影 GAN 可有助于从低维训练数据集学习其他高维分布，例如从图像中学习材料类别特定的空间变化反射属性。