ControlDreamer：文本到三维生成中的几何与风格融合

Yeongtak Oh; Jooyoung Choi; Yongsung Kim; Minjun Park; Chaehun Shin; Sungroh Yoon

ControlDreamer：文本到三维生成中的几何与风格融合

计算机视觉与模式识别 2024-08-26 v3

作者: Yeongtak Oh , Jooyoung Choi , Yongsung Kim , Minjun Park , Chaehun Shin , Sungroh Yoon

摘要

文本到三维生成的最新进展极大地推动了三维内容创作的自动化与普及。基于这些发展，我们旨在解决当前方法在文本到三维生成中融合几何与风格的局限性。我们引入了多视图 ControlNet，这是一种在精心筛选的文本语料库生成的数据集上训练的、具有深度感知的新颖多视图扩散模型。随后，我们的多视图 ControlNet 被集成到两阶段流水线 ControlDreamer 中，实现了文本引导的风格化三维模型生成。此外，我们提出了一个全面的三维风格编辑基准，涵盖包括物体、动物和角色在内的广泛主题，以进一步促进多样化的三维生成研究。比较分析表明，人工评估和 CLIP 分数指标均证实这一新流水线优于现有的文本到三维方法。项目页面：https://controldreamer.github.io

关键词

文本到三维生成多视图 ControlNet 三维风格编辑深度感知扩散模型风格化三维生成

引用

@article{arxiv.2312.01129,
  title  = {ControlDreamer: Blending Geometry and Style in Text-to-3D},
  author = {Yeongtak Oh and Jooyoung Choi and Yongsung Kim and Minjun Park and Chaehun Shin and Sungroh Yoon},
  journal= {arXiv preprint arXiv:2312.01129},
  year   = {2024}
}

备注

Project page: https://controldreamer.github.io/

ControlDreamer：文本到三维生成中的几何与风格融合

摘要

关键词

引用

备注

相关论文