用于单视图三维重建的拓扑感知形变场
计算机视觉与模式识别
2022-05-24 v2 人工智能
图形学
机器学习
摘要
我们提出了一个框架，仅从未对齐的类别特定图像集合中学习三维物体形状和密集的跨物体三维对应关系。三维形状被隐式地生成为对类别特定有符号距离场的形变，并且完全以无监督的方式仅从未对齐的图像集合及其姿态中学习，无需任何三维监督。通常，互联网上的图像集合包含多种类别内的几何和拓扑变化，例如，不同的椅子可能具有不同的拓扑结构，这使得联合形状和对应关系估计的任务更具挑战性。因此，先前的工作要么专注于单独学习每个三维物体形状而不建模跨实例对应关系，要么在类别内拓扑变化最小的类别上执行联合形状和对应关系估计。我们通过学习一个拓扑感知的隐式形变场来克服这些限制，该形变场将物体空间中的三维点映射到类别特定规范空间中的高维点。在推理时，给定单张图像，我们首先使用拓扑感知形变场将物体空间中的每个三维点隐式地形变到学习到的类别特定规范空间，然后将三维形状重建为规范有符号距离场。规范形状和形变场都使用学习到的循环射线行进器 (SRN) 作为可微渲染模块，以逆图形学方式进行端到端学习。我们的方法，称为 TARS，在多个数据集上实现了最先进的重建保真度：ShapeNet、Pascal3D+、CUB 和 Pix3D chairs。结果视频和代码在 https://shivamduggal4.github.io/tars-3D/
引用
@article{arxiv.2205.06267,
title = {Topologically-Aware Deformation Fields for Single-View 3D Reconstruction},
author = {Shivam Duggal and Deepak Pathak},
journal= {arXiv preprint arXiv:2205.06267},
year = {2022}
}
备注
CVPR 2022. Website at https://shivamduggal4.github.io/tars-3D/