通过几何循环一致性实现规范曲面映射

我们探索了规范曲面映射（CSM）任务。具体而言，给定一幅图像，我们学习将物体上的像素映射到该类别抽象三维模型上对应的位置。但我们如何学习这样的映射？监督方法需要大量的手动标注，这对于少数手工挑选的类别之外是不可扩展的。我们的核心见解是，CSM任务（像素到三维）与三维投影（三维到像素）结合时，完成了一个循环。因此，我们可以利用几何循环一致性损失，从而免去密集的手动监督。我们的方法允许我们训练一个适用于多种类别的CSM模型，无需稀疏或密集关键点标注，仅利用前景掩码标签进行训练。我们展示了我们的预测还允许我们推断两幅图像之间的密集对应，并将我们方法的性能与几种利用不同监督量预测对应的方法进行了比较。