利用对抗网络从图像集合中推断三维形状

我们研究如下问题：给定从未知视角拍摄的多个物体的二维视图，学习三维形状上的概率分布。我们提出的方法称为投影生成对抗网络（projective generative adversarial network, PrGAN），其训练一个三维形状的深层生成模型，使得该模型的投影（或渲染）与所给二维分布相匹配。可微投影模块的引入使得我们能够在学习阶段无需任何显式三维或视角标注的情况下推断底层的三维形状分布。我们表明，我们的方法生成的三维形状质量可与直接在三维数据上训练的 GAN 相媲美。实验还表明，将二维形状解耦为几何与视角可得到一个良好的二维形状生成模型。我们模型的关键优势在于，它能以完全无监督的方式从输入图像估计三维形状、视角并生成新视图。我们进一步研究了若在训练时获得深度、视角或部件分割等额外信息，生成模型如何得以改进。为此，我们提出新的可微投影算子，可供 PrGAN 用来学习更好的三维生成模型。我们的实验表明，我们的方法能成功利用额外的视觉线索来创建更多样且更准确形状。