One-2-3-45：无需逐形状优化的45秒单图转3D网格
计算机视觉与模式识别
2023-06-30 v1 人工智能
机器人学
摘要
单图像3D重建是一项重要但具挑战性的任务，需要对我们自然世界的广泛认知。许多现有方法在2D扩散模型引导下优化神经辐射场来解决该问题，但存在优化耗时长、3D结果不一致以及几何质量差的问题。在本工作中，我们提出一种新方法，以任意物体的单张图像作为输入，在单次前馈过程中生成完整的360度3D带纹理网格。给定单张图像，我们首先使用视角条件2D扩散模型Zero123为输入视角生成多视角图像，随后旨在将其提升到3D空间。由于传统重建方法难以应对不一致的多视角预测，我们基于可泛化的SDF（有符号距离函数）神经表面重建方法构建3D重建模块，并提出若干关键训练策略以实现360度网格的重建。无需昂贵的优化，我们的方法重建3D形状所需时间显著少于现有方法。此外，我们的方法具有更好的几何质量、生成更具3D一致性的结果，并更贴合输入图像。我们在合成数据与真实图像上评估了该方法，并证明了其在网格质量与运行时间上的优越性。此外，我们的方法可通过与现成的文本到图像扩散模型集成，无缝支持文本到3D任务。
引用
@article{arxiv.2306.16928,
title = {One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization},
author = {Minghua Liu and Chao Xu and Haian Jin and Linghao Chen and Mukund Varma T and Zexiang Xu and Hao Su},
journal= {arXiv preprint arXiv:2306.16928},
year = {2023}
}
备注
project website: one-2-3-45.com