通过对形状、姿态与着色的生成式建模学习单图像三维重建

我们提出了一个统一框架来解决两个问题：从单图像进行特定类别的三维重建，以及生成新的三维形状样本。这些任务近期受到了广泛关注；然而，大多数现有方法依赖于三维监督、二维图像的关键点或姿态标注，和/或每个物体实例的多视图训练。我们的框架具有很强的通用性：它可以在与现有方法相似的设置下进行训练，同时也支持较弱的监督。重要的是，它可以纯粹从二维图像进行训练，无需姿态标注，且每个实例仅需单一视图。我们采用网格作为输出表示，而不是大多数先前工作中使用的体素。这使我们能够对光照参数进行推理，并在训练期间利用着色信息，这是以前基于二维监督的方法无法做到的。因此，我们的方法可以学习生成和重建凹形物体类别。我们在各种设置下评估了我们的方法，结果表明： 它学会了将形状与姿态和光照分离开来； 在损失函数中使用着色信息比仅使用轮廓能获得更好的性能； 当使用标准的单一白光时，得益于利用着色线索，我们的模型在有姿态监督和无姿态监督的情况下均优于最先进的二维监督方法； 当使用多个彩色光源时，性能进一步提高，甚至接近最先进的三维监督方法的水平； 我们的模型生成的形状比基于体素的方法能更好地捕捉光滑表面和精细细节； 我们的方法支持浴缸和沙发等凹形类别，而基于轮廓的方法无法学习这些类别。