One-2-3-45++：基于一致多视图生成与 3D 扩散的快速单图像到 3D 物体
计算机视觉与模式识别
2023-11-15 v1 人工智能
图形学
摘要
开放世界 3D 物体生成的最新进展引人注目，其中图像到 3D 方法比文本到 3D 方法提供了更细粒度的控制。然而，大多数现有模型无法同时提供快速生成速度和对输入图像的高保真度——这两个特性对于实际应用至关重要。在本文中，我们提出 One-2-3-45++，一种在约一分钟内将单张图像转换为详细 3D 带纹理网格的创新方法。我们的方法旨在充分利用 2D 扩散模型中嵌入的广泛知识以及来自宝贵但有限的 3D 数据的先验。这是通过首先微调 2D 扩散模型以进行一致多视图图像生成，然后借助多视图条件 3D 原生扩散模型将这些图像提升为 3D 来实现的。广泛的实验评估表明，我们的方法可以生成高质量、多样化且紧密反映原始输入图像的 3D 资产。我们的项目网页：https://sudo-ai-3d.github.io/One2345plus_page。
引用
@article{arxiv.2311.07885,
title = {One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion},
author = {Minghua Liu and Ruoxi Shi and Linghao Chen and Zhuoyang Zhang and Chao Xu and Xinyue Wei and Hansheng Chen and Chong Zeng and Jiayuan Gu and Hao Su},
journal= {arXiv preprint arXiv:2311.07885},
year = {2023}
}