Magic-Boost: 利用多视图条件扩散增强3D生成
计算机视觉与模式识别
2025-01-10 v3 人工智能
摘要
受益于2D扩散模型的快速发展，3D内容生成取得了显著进展。一种有前景的方法是微调预训练的2D扩散模型以生成多视图图像，然后通过前馈稀疏视图重建模型将其重建为3D资产。然而，由于生成的多视图图像中的3D不一致性以及前馈重建模型的低重建分辨率，生成的3D资产仍然局限于不正确的几何形状和模糊的纹理。为了解决这个问题，我们提出了一种基于多视图的细化方法，名为Magic-Boost，以进一步细化生成结果。具体来说，我们首先提出了一种新颖的多视图条件扩散模型，该模型从合成的多视图图像中提取3D先验，以合成高保真新视图图像，然后引入一种新颖的迭代更新策略，通过快速优化过程提供精确的指导来细化粗糙的生成结果。基于从合成多视图图像中提取的强3D先验，Magic-Boost能够提供与粗糙生成的3D资产良好对齐的精确优化指导，在短时间内（约15分钟）丰富几何和纹理的局部细节。大量实验表明，Magic-Boost极大地增强了粗糙生成的输入，生成了具有丰富几何和纹理细节的高质量3D资产。（项目页面：https://magic-research.github.io/magic-boost/）
引用
@article{arxiv.2404.06429,
title = {Magic-Boost: Boost 3D Generation with Multi-View Conditioned Diffusion},
author = {Fan Yang and Jianfeng Zhang and Yichun Shi and Bowen Chen and Chenxu Zhang and Huichao Zhang and Xiaofeng Yang and Xiu Li and Jiashi Feng and Guosheng Lin},
journal= {arXiv preprint arXiv:2404.06429},
year = {2025}
}