DreamTime:一种用于扩散引导三维生成的改进优化策略
计算机视觉与模式识别
2024-05-07 v2 图形学
机器学习
摘要
在数十亿图文对上预训练的文本到图像扩散模型,近期通过用分数蒸馏优化随机初始化的可微 3D 表示,实现了 3D 内容创建。然而,该优化过程收敛缓慢,且所得 3D 模型常表现出两方面的局限:(a) 质量方面的问题,如属性缺失、形状与纹理扭曲;(b) 与文本引导的图像合成相比多样性极低。本文中,我们指出 3D 优化过程与分数蒸馏中均匀时间步采样之间的冲突是这些局限的主因。为解决该冲突,我们提出以单调不增函数来优先时间步采样,从而使 3D 优化过程与扩散模型的采样过程相对齐。大量实验表明,这一简单重设计显著改善了 3D 内容创建,具有更快收敛、更优质量与多样性。
引用
@article{arxiv.2306.12422,
title = {DreamTime: An Improved Optimization Strategy for Diffusion-Guided 3D Generation},
author = {Yukun Huang and Jianan Wang and Yukai Shi and Boshi Tang and Xianbiao Qi and Lei Zhang},
journal= {arXiv preprint arXiv:2306.12422},
year = {2024}
}
备注
ICLR 2024