Boosting3D：通过渐进学习将2D扩散先验提升为3D先验实现高保真图像到3D生成
计算机视觉与模式识别
2023-11-27 v1
摘要
我们提出Boosting3D，一种多阶段单图像到3D生成方法，可在不同数据域中鲁棒地生成合理的3D对象。本工作的重点是通过建模合理的几何结构来解决单图像引导3D生成中的视图一致性问题。为此，我们提出利用更好的3D先验来训练NeRF。更具体地，我们使用原始图像和NeRF的渲染输出为目标对象训练一个对象级LoRA。然后我们使用渐进训练策略训练LoRA和NeRF。LoRA和NeRF将在训练中相互提升。渐进训练后，LoRA学习了生成对象的3D信息，并最终转变为对象级3D先验。在最后阶段，我们从训练好的NeRF中提取网格，并使用训练好的LoRA优化网格的结构与外观。实验证明了所提方法的有效性。Boosting3D学习了对象特定的3D先验，这超越了预训练扩散先验的能力，并在单图像到3D生成任务中达到了最先进性能。
引用
@article{arxiv.2311.13617,
title = {Boosting3D: High-Fidelity Image-to-3D by Boosting 2D Diffusion Prior to 3D Prior with Progressive Learning},
author = {Kai Yu and Jinlin Liu and Mengyang Feng and Miaomiao Cui and Xuansong Xie},
journal= {arXiv preprint arXiv:2311.13617},
year = {2023}
}
备注
8 pages, 7 figures, 1 table