基于混合傅里叶评分蒸馏的高效单图到3D物体生成
计算机视觉与模式识别
2024-10-10 v2
摘要
单图到3D生成对于构建可控的3D资产至关重要。鉴于其受限的约束条件，我们尝试利用来自新视角扩散模型的3D几何先验和来自图像生成模型的2D外观先验来指导优化过程。我们注意到，这两种扩散模型的生成先验存在差异，导致其不同的外观输出。具体而言，图像生成模型倾向于提供更详细的视觉效果，而新视角模型则在不同视角下产生一致但过于平滑的结果。直接将其组合会导致次优效果，due to their appearance conflicts。因此，我们提出了一种2D-3D混合傅里叶评分蒸馏目标函数，称为hy-FSD。它在空间域中使用3D先验优化3D高斯分布，以确保几何一致性，同时通过傅里叶变换在频域中利用2D先验以获得更好的视觉质量。hy-FSD可以集成到现有的3D生成方法中，并显著提升性能。通过该技术，我们进一步开发了一个从单张图像生成3D物体的管道，称为Fourier123。在一分钟内创建高质量的3D物体。广泛的实验表明，Fourier123在高效生成方面表现卓越，收敛速度快速且视觉效果友好。
引用
@article{arxiv.2405.20669,
title = {Hybrid Fourier Score Distillation for Efficient One Image to 3D Object Generation},
author = {Shuzhou Yang and Yu Wang and Haijie Li and Jiarui Meng and Yanmin Wu and Xiandong Meng and Jian Zhang},
journal= {arXiv preprint arXiv:2405.20669},
year = {2024}
}