基于空间雕刻外绘的单图像360°重建
计算机视觉与模式识别
2023-09-20 v1 图形学
摘要
我们提出POP3D，一种从单张图像创建完整360°视角3D模型的新框架。POP3D解决了限制单视图重建的两个突出问题。首先，POP3D对任意类别具有显著的泛化能力，这是以往方法难以实现的特性。其次，POP3D进一步提升了重建的保真度与自然度，这是同期工作所欠缺的关键方面。我们的方法融合了四个主要组件的优势：(1) 单目深度与法线预测器，用于预测关键几何线索；(2) 空间雕刻方法，能够划定目标物体潜在不可见部分；(3) 在大规模图像数据集上预训练的生成模型，可补全目标不可见区域；(4) 神经隐式表面重建方法，专为利用RGB图像及单目几何线索重建物体而设计。这些组件的结合使POP3D能够轻松泛化至各类自然图像，并生成最先进的重建结果，大幅优于同类工作。项目页面：\url{http://cg.postech.ac.kr/research/POP3D}
引用
@article{arxiv.2309.10279,
title = {360$^\circ$ Reconstruction From a Single Image Using Space Carved Outpainting},
author = {Nuri Ryu and Minsu Gong and Geonung Kim and Joo-Haeng Lee and Sunghyun Cho},
journal= {arXiv preprint arXiv:2309.10279},
year = {2023}
}
备注
Accepted to SIGGRAPH Asia 2023 (Conference Track). For the project page, see http://cg.postech.ac.kr/research/POP3D For the supplementary document, see http://cg.postech.ac.kr/papers/2023_SIGAsia_Ryu_Supp.pdf