从自然场景图像中无监督学习可能对称的可变形三维物体

我们提出一种从原始单视图图像中学习三维可变形物体类别的方法，无需外部监督。该方法基于一个将每张输入图像分解为深度、反照率、视角和光照的自编码器。为了在无监督下解耦这些分量，我们利用许多物体类别至少原则上具有对称结构这一事实。我们表明，对光照的推理使我们能够利用潜在的物体对称性，即使由于明暗处理导致外观不对称。此外，我们通过预测一个对称性概率图来建模可能但不一定对称的物体，该图与模型的其他分量端到端学习。我们的实验表明，该方法能在无任何监督或先验形状模型的情况下，从单视图图像中非常准确地恢复人脸、猫脸和汽车的三维形状。在基准上，我们展示了相比另一种在二维图像对应层级使用监督的方法具有更优精度。