ProlificDreamer：基于变分分数蒸馏的高保真多样化文本到三维生成
机器学习
2023-11-23 v2 计算机视觉与模式识别
摘要
分数蒸馏采样（SDS）通过蒸馏预训练的大规模文本到图像扩散模型，在文本到三维生成中展现出巨大潜力，但存在过饱和、过平滑和低多样性问题。在本工作中，我们提出将三维参数建模为随机变量而非如 SDS 中那样的常数，并给出变分分数蒸馏（VSD），这是一个基于粒子的原则性变分框架，用于解释并解决上述文本到三维生成中的问题。我们表明 SDS 是 VSD 的一个特例，并在 CFG 权重较小和较大时均导致劣质样本。相比之下，VSD 作为扩散模型的祖先采样在各种 CFG 权重下均表现良好，并以常用 CFG 权重（即 ）同时提升多样性与样本质量。我们进一步提出了文本到三维设计空间中的多种改进，如蒸馏时间调度与密度初始化，这些与蒸馏算法正交却未被充分探索。我们的整体方法称为 ProlificDreamer，可生成高渲染分辨率（即 ）且高保真的 NeRF，具有丰富结构与复杂效果（如烟雾与水滴）。此外，从 NeRF 初始化后，经 VSD 微调的网格细致入微且照片级真实。项目页面与代码：https://ml.cs.tsinghua.edu.cn/prolificdreamer/
引用
@article{arxiv.2305.16213,
title = {ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation},
author = {Zhengyi Wang and Cheng Lu and Yikai Wang and Fan Bao and Chongxuan Li and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2305.16213},
year = {2023}
}
备注
NeurIPS 2023 (Spotlight)