Make-It-3D：基于扩散先验从单张图像高保真创建3D内容
计算机视觉与模式识别
2023-04-04 v2
摘要
在这项工作中，我们研究仅从单张图像创建高保真3D内容的问题。这本质上具有挑战性：它基本涉及估计底层3D几何的同时幻觉出未见纹理。为应对该挑战，我们利用来自训练良好的2D扩散模型的先验知识，作为3D创建的3D感知监督。我们的方法Make-It-3D采用两阶段优化流程：第一阶段通过在前视图融入参考图像约束及在新视图融入扩散先验来优化神经辐射场；第二阶段将粗模型转换为带纹理点云，并进一步借助扩散先验提升真实感，同时利用参考图像中的高质量纹理。大量实验表明，我们的方法大幅优于先前工作，实现了忠实重建与令人印象深刻的视觉质量。我们的方法首次尝试针对通用物体从单张图像实现高质量3D创建，并赋能文本到3D创建与纹理编辑等多种应用。
引用
@article{arxiv.2303.14184,
title = {Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior},
author = {Junshu Tang and Tengfei Wang and Bo Zhang and Ting Zhang and Ran Yi and Lizhuang Ma and Dong Chen},
journal= {arXiv preprint arXiv:2303.14184},
year = {2023}
}
备注
17 pages, 18 figures, Project page: https://make-it-3d.github.io/