LucidDreamer：基于区间分数匹配的高保真文本到三维生成
计算机视觉与模式识别
2023-12-05 v3 图形学
多媒体
摘要
近期文本到三维生成的进展标志着生成模型的重要里程碑，为在各真实场景创建富有想象力的3D资产开辟了新可能。尽管近期文本到三维生成取得进展，仍常在细节与高质量3D模型渲染上有所不足。该问题在诸多基于分数蒸馏采样（SDS）的方法中尤为普遍。本文指出SDS的一个显著缺陷：其为3D模型提供不一致且低质量的更新方向，导致过度平滑效应。为此，我们提出一种称为区间分数匹配（ISM）的新方法。ISM采用确定性扩散轨迹并利用基于区间的分数匹配来抵消过度平滑。此外，我们将3D高斯泼溅引入文本到三维生成流程。大量实验表明，我们的模型在质量与训练效率上大幅优于当前最优方法。
引用
@article{arxiv.2311.11284,
title = {LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching},
author = {Yixun Liang and Xin Yang and Jiantao Lin and Haodong Li and Xiaogang Xu and Yingcong Chen},
journal= {arXiv preprint arXiv:2311.11284},
year = {2023}
}
备注
The first two authors contributed equally to this work. Our code will be available at: https://github.com/EnVision-Research/LucidDreamer