仅以2D监督学习生成与重建3D网格

我们提出一个统一框架，解决两个问题：从单幅图像进行类特定的3D重建，以及生成新的3D形状样本。这些任务近期受到相当关注；然而，现有方法依赖于3D监督、用关键点或位姿对2D图像进行标注，和/或用每个对象实例的多个视图进行训练。我们的框架非常通用：它可以在与这些现有方法相似的设置下训练，同时也支持更弱的监督场景。重要的是，它可以仅从2D图像训练，无需真实位姿标注，且每个实例仅用单视图。我们采用网格作为输出表示，而非大多数先前工作所用的体素。这使我们能在训练期间利用明暗信息，而先前的2D监督方法无法做到。因此，我们的方法可以学习生成和重建凹形对象类。我们在合成数据的多种设置下评估了我们的方法，表明（i）它学会将形状与位姿解耦；（ii）在损失中使用明暗信息提升了性能；（iii）我们的模型在量化指标上可与最先进的基于体素的方法媲美或更优，同时产生视觉上更令人满意的结果；（iv）即便所给监督弱于先前工作，它仍表现良好。