中文

Progressive3D:面向复杂语义提示文本到三维内容生成的渐进式局部编辑方法

计算机视觉与模式识别 2024-03-19 v2

摘要

得益于图像扩散模型与优化策略的进展,近期文本到三维生成方法取得了令人印象深刻的三维内容生成能力。然而,当前方法难以针对语义上复杂的提示(即描述多个绑定不同属性的交互物体的提示)生成正确的三维内容。本工作中,我们提出一个名为 Progressive3D 的通用框架,其将整体生成分解为一系列局部渐进式编辑步骤,以为复杂提示创建精确的三维内容,并在每个编辑步骤中将内容变化约束于由用户定义的区域提示所确定的区域内。此外,我们提出一种重叠语义分量抑制技术,以促使优化过程更关注提示之间的语义差异。大量实验表明,所提出的 Progressive3D 框架能为具有复杂语义的提示生成精确的三维内容,并且对由不同三维表示驱动的各种文本到三维方法具有通用性。

关键词

引用

@article{arxiv.2310.11784,
  title  = {Progressive3D: Progressively Local Editing for Text-to-3D Content Creation with Complex Semantic Prompts},
  author = {Xinhua Cheng and Tianyu Yang and Jianan Wang and Yu Li and Lei Zhang and Jian Zhang and Li Yuan},
  journal= {arXiv preprint arXiv:2310.11784},
  year   = {2024}
}

备注

Accept by ICLR2024. Project Page: https://cxh0519.github.io/projects/Progressive3D/