UniDream：统一扩散先验的可重照文本到 3D 生成
计算机视觉与模式识别
2024-07-16 v2
摘要
近期文本到 3D 生成技术的进展极大地推动了将文本描述转换为具有良好几何形状和精细纹理的富有想象力的 3D 对象。尽管取得了这些进展，但一个普遍的局限性源于在扩散或重建模型中使用 RGB 数据，这通常导致模型带有固有的光照和阴影效果，从而削弱了其真实感，进而限制了其在需要精确重照能力的应用中的可用性。为了弥合这一差距，我们提出了 UniDream，一个结合统一扩散先验的文本到 3D 生成框架。我们的方法包含三个主要部分：(1) 双阶段训练过程，以获得反照率-法向对齐的多视图扩散和重建模型；(2) 基于得分蒸馏采样 (SDS) 的几何与反照率-纹理渐进式生成过程，使用训练好的重建和扩散模型；(3) 在保持固定反照率的同时，基于 Stable Diffusion 模型创新性地应用 SDS 以完成 PBR 生成。大量评估表明，UniDream 在生成具有更清晰反照率纹理、更平滑表面、增强真实感以及卓越重照能力的 3D 对象方面超越了现有方法。
引用
@article{arxiv.2312.08754,
title = {UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation},
author = {Zexiang Liu and Yangguang Li and Youtian Lin and Xin Yu and Sida Peng and Yan-Pei Cao and Xiaojuan Qi and Xiaoshui Huang and Ding Liang and Wanli Ouyang},
journal= {arXiv preprint arXiv:2312.08754},
year = {2024}
}
备注
Accepted to ECCV 2024