扩散时间步课程用于单图像到3D生成
计算机视觉与模式识别
2024-05-06 v3
摘要
分数蒸馏采样（SDS）已被广泛采用，以克服从单张图像重建3D对象时未见视图的缺失。它利用预训练的2D扩散模型作为教师，指导学生3D模型的重建。尽管取得了显著成功，基于SDS的方法经常遇到几何伪影和纹理饱和问题。我们发现关键在于优化过程中对扩散时间步的忽视性处理：它不合理地将学生-教师知识蒸馏在所有时间步上视为等同，从而纠缠了粗粒度和细粒度建模。因此，我们提出了扩散时间步课程单图像到3D流水线（DTC123），它涉及教师和学生模型以从粗到细的方式与时间步课程协作。在NeRF4、RealFusion15、GSO和Level50基准上的大量实验表明，DTC123可以生成多视图一致、高质量且多样化的3D资产。代码和更多生成演示将在https://github.com/yxymessi/DTC123发布。
引用
@article{arxiv.2404.04562,
title = {Diffusion Time-step Curriculum for One Image to 3D Generation},
author = {Xuanyu Yi and Zike Wu and Qingshan Xu and Pan Zhou and Joo-Hwee Lim and Hanwang Zhang},
journal= {arXiv preprint arXiv:2404.04562},
year = {2024}
}
备注
Accepted to CVPR 2024