DreamPolish: 渐进式几何生成的域分数蒸馏
计算机视觉与模式识别
2024-11-05 v1 人工智能
摘要
我们提出了 DreamPolish，一个在生成精细几何和高品质纹理方面表现出色的文本到3D生成模型。在几何构建阶段，我们的方法利用多种神经表示来增强合成过程的稳定性。我们没有仅仅依赖新采样视角中的视角条件扩散先验（这通常会导致几何表面出现不期望的伪影），而是引入了一个额外的法线估计器，在不同视场角的视角条件下对几何细节进行抛光。我们提出了一种仅通过少量训练步骤即可进行的表面抛光阶段，该阶段可以有效修正前一阶段因引导不足而产生的伪影，并生成具有更理想几何结构的3D物体。纹理生成中使用预训练文本到图像模型的关键主题是在这些模型的庞大隐式分布中找到一个合适的域，该域包含照片级真实感且一致的渲染结果。在纹理生成阶段，我们引入了一种新颖的分数蒸馏目标，即域分数蒸馏（DSD），用于引导神经表示向这样的域。我们从文本条件图像生成任务中的无分类器引导（CFG）中获得启发，并证明CFG和变分分布引导在梯度引导中代表了不同的方面，两者对于纹理质量的提升都至关重要。大量实验表明，我们提出的模型可以生成具有抛光表面和照片级真实感纹理的3D资产，优于现有的最先进方法。
引用
@article{arxiv.2411.01602,
title = {DreamPolish: Domain Score Distillation With Progressive Geometry Generation},
author = {Yean Cheng and Ziqi Cai and Ming Ding and Wendi Zheng and Shiyu Huang and Yuxiao Dong and Jie Tang and Boxin Shi},
journal= {arXiv preprint arXiv:2411.01602},
year = {2024}
}