Slice3D：多切片、揭示遮挡的单视图 3D 重建
计算机视觉与模式识别
2023-12-13 v2 图形学
摘要
我们引入了多切片推理，这是单视图 3D 重建的一个新概念，它挑战了当前普遍的观点，即多视图合成是单视图与 3D 之间最自然的桥梁。我们的关键观察是，改变视图相比，物体切片在揭示遮挡结构方面更具优势。具体而言，切片更能揭示遮挡，因为它可以无阻碍地穿透任何遮挡物。在极限情况下，即拥有无限多个切片时，它保证能揭示所有隐藏的物体部分。我们通过开发 Slice3D 实现了我们的想法，这是一种用于单视图 3D 重建的新方法，它首先从单个 RGB 图像预测多切片图像，然后使用基于坐标的 Transformer 网络进行有符号距离预测，将切片整合为 3D 模型。切片图像可以通过基于 U-Net 的网络进行回归或生成。对于前者，我们注入一个可学习的切片指示器代码，将每个解码图像指定到一个空间切片位置，而切片生成器是一个在堆叠在输入通道上的全部切片图像上运行的去噪扩散模型。我们针对最先进的替代方法进行了广泛评估，以展示我们方法的优越性，特别是在模糊环境中恢复复杂和严重遮挡的形状结构方面的优越性。所有 Slice3D 结果均由在单个 Nvidia A40 GPU 上训练的网络生成，推理时间不到 20 秒。
引用
@article{arxiv.2312.02221,
title = {Slice3D: Multi-Slice, Occlusion-Revealing, Single View 3D Reconstruction},
author = {Yizhi Wang and Wallace Lira and Wenqi Wang and Ali Mahdavi-Amiri and Hao Zhang},
journal= {arXiv preprint arXiv:2312.02221},
year = {2023}
}
备注
Project website: https://yizhiwang96.github.io/Slice3D/