Magic123：利用 2D 与 3D 扩散先验从单张图像生成高质量 3D 物体
计算机视觉与模式识别
2023-07-25 v2
摘要
我们提出 Magic123，一种由粗到精的两阶段方法，利用 2D 和 3D 先验从野外单张无位姿图像生成带纹理的高质量 3D 网格。在第一阶段，我们优化神经辐射场以产生粗糙几何。在第二阶段，我们采用内存高效的可微网格表示来生成具有高分辨率且视觉吸引人纹理的网格。在两个阶段中，3D 内容均通过参考视图监督以及由 2D 和 3D 扩散先验组合引导的新视角进行学习。我们引入一个介于 2D 与 3D 先验之间的单一权衡参数，以控制生成几何的探索（更具想象力）与利用（更精确）。此外，我们采用文本反演和单目深度正则化，分别鼓励跨视图外观一致性和防止退化解。Magic123 在合成基准和多样真实世界图像上的大量实验验证表明，相较先前图像到 3D 技术有显著提升。我们的代码、模型和生成的 3D 资产可在 https://github.com/guochengqian/Magic123 获取。
引用
@article{arxiv.2306.17843,
title = {Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors},
author = {Guocheng Qian and Jinjie Mai and Abdullah Hamdi and Jian Ren and Aliaksandr Siarohin and Bing Li and Hsin-Ying Lee and Ivan Skorokhodov and Peter Wonka and Sergey Tulyakov and Bernard Ghanem},
journal= {arXiv preprint arXiv:2306.17843},
year = {2023}
}
备注
webpage: https://guochengqian.github.io/project/magic123/