DreamControl：基于控制的文本到 3D 生成与 3D 自先验
计算机视觉与模式识别
2024-03-13 v2
摘要
3D 生成近年来引起了极大关注。随着文本到图像扩散模型的成功，2D 提升技术成为可控 3D 生成的一条有前景的途径。然而，这些方法往往呈现不一致的几何形状，这被称为 Janus 问题。我们观察到，该问题主要由两方面引起，即 2D 扩散模型中的视点偏差和优化目标的过拟合。为了解决这个问题，我们提出了一个两阶段的 2D 提升框架，名为 DreamControl，它优化粗糙的 NeRF 场景作为 3D 自先验，然后通过基于控制的分数蒸馏生成细粒度对象。具体来说，我们提出了自适应视点采样和边界完整性度量，以确保生成先验的一致性。然后将这些先验作为输入条件，以维持合理的几何形状，其中进一步提出了条件 LoRA 和加权分数来优化细节纹理。DreamControl 可以在几何一致性和纹理保真度方面生成高质量的 3D 内容。此外，我们基于控制的优化指导适用于更多下游任务，包括用户引导生成和 3D 动画。项目页面可在 https://github.com/tyhuang0428/DreamControl 获取。
引用
@article{arxiv.2312.06439,
title = {DreamControl: Control-Based Text-to-3D Generation with 3D Self-Prior},
author = {Tianyu Huang and Yihan Zeng and Zhilu Zhang and Wan Xu and Hang Xu and Songcen Xu and Rynson W. H. Lau and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2312.06439},
year = {2024}
}
备注
Accepted by CVPR 2024