Layout-Your-3D：基于二维蓝图的可控精确三维生成
计算机视觉与模式识别
2025-04-08 v2
摘要
我们提出Layout-Your-3D，一个允许从文本提示进行可控和组合式三维生成的框架。现有的文本到三维方法通常难以生成具有合理物体交互的资产，或者需要繁琐的优化过程。为应对这些挑战，我们的方法利用二维布局作为蓝图，以促进对三维生成的精确和合理控制。从用户提供或由文本描述生成的二维布局开始，我们首先基于高效的重建模型，通过精心设计的初始化过程创建一个粗糙的三维场景。为了强制执行一致的全局三维布局并提升实例外观的质量，我们提出了一种碰撞感知的布局优化过程，随后进行实例级细化。实验结果表明，Layout-Your-3D能生成更合理且视觉上更吸引人的组合式三维资产，同时显著减少了每个提示所需的时间。此外，Layout-Your-3D可轻松应用于下游任务，如三维编辑和物体插入。我们的项目页面位于：https://colezwhy.github.io/layoutyour3d/
引用
@article{arxiv.2410.15391,
title = {Layout-your-3D: Controllable and Precise 3D Generation with 2D Blueprint},
author = {Junwei Zhou and Xueting Li and Lu Qi and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2410.15391},
year = {2025}
}
备注
21 pages,17 figures. ICLR 2025 poster