DreamDissector：从2D扩散先验中学习解耦的文本到3D生成
计算机视觉与模式识别
2024-07-24 v1
摘要
文本到3D生成最近取得了显著的进展。为了增强其在实际应用中的实用性，关键在于生成多个具有相互作用的独立对象，类似于2D图像编辑中的图层合成。然而，现有的文本到3D方法在这方面存在挑战，因其设计要么生成非独立对象，要么生成缺乏空间上合理相互作用的独立对象。为此，我们提出了DreamDissector，一种能够生成多个带相互作用的独立对象的文本到3D方法。DreamDissector接受多对象文本到3D NeRF作为输入，并产生独立的纹理网格。为实现此目标，我们引入了神经类别场 (NeCF) 用于解耦输入NeRF。此外，我们提出了类别得分扩散采样 (CSDS)，通过深度概念挖掘 (DCM) 模块解决扩散模型中的概念差距问题。通过利用NeCF和CSDS，我们可以有效地从原始场景中派生出子NeRF。后续细化提高了几何和纹理质量。我们的实验结果验证了DreamDissector的有效性，为用户提供了在对象级别控制3D合成的新方式，并为未来各种创意应用开辟了可能的途径。
引用
@article{arxiv.2407.16260,
title = {DreamDissector: Learning Disentangled Text-to-3D Generation from 2D Diffusion Priors},
author = {Zizheng Yan and Jiapeng Zhou and Fanpeng Meng and Yushuang Wu and Lingteng Qiu and Zisheng Ye and Shuguang Cui and Guanying Chen and Xiaoguang Han},
journal= {arXiv preprint arXiv:2407.16260},
year = {2024}
}
备注
ECCV 2024. Project page: https://chester256.github.io/dreamdissector