Consistent123:利用案例感知扩散先验从单图重建高一致性3D资产
计算机视觉与模式识别
2024-02-21 v2
摘要
在预训练扩散模型引导下从单张图像重建3D物体已展现出令人鼓舞的结果。然而,由于采用案例无关(case-agnostic)的刚性策略,其对任意案例的泛化能力以及重建的3D一致性仍然较差。本工作中,我们提出Consistent123,一种案例感知的两阶段方法,利用2D与3D扩散先验从单图高度一致地重建3D资产。在第一阶段,Consistent123仅利用3D结构先验充分挖掘几何信息,并在此过程中嵌入基于CLIP的案例感知自适应检测机制。在第二阶段,引入2D纹理先验并逐步占据主导引导作用,精细雕琢3D模型的细节。Consistent123更贴合引导需求的演化趋势,为不同物体自适应地提供充分的3D几何初始化与合适的2D纹理精炼。Consistent123能获得高3D一致性的重建,并对各类物体展现出强泛化能力。定性与定量实验表明,我们的方法显著优于当前最先进的图像到3D方法。详见 https://Consistent123.github.io 以更全面地探索我们生成的3D资产。
引用
@article{arxiv.2309.17261,
title = {Consistent123: One Image to Highly Consistent 3D Asset Using Case-Aware Diffusion Priors},
author = {Yukang Lin and Haonan Han and Chaoqun Gong and Zunnan Xu and Yachao Zhang and Xiu Li},
journal= {arXiv preprint arXiv:2309.17261},
year = {2024}
}