层次化-生成链用于复杂属性文本到 3D 生成
计算机视觉与模式识别
2025-05-12 v1 图像与视频处理
摘要
最近的文本到 3D 模型可以渲染高质量的资产，但仍在处理具有复杂属性的对象方面受阻。关键障碍在于：(1) 现有的文本到 3D 方法通常会将文本到图像模型提升，以通过文本编码器提取语义，而文本编码器对长描述的理解能力有限，导致交叉注意力焦点偏移，随后在生成结果中产生错误的属性绑定。(2) 遮挡物体部位需要严格的生成顺序和明确的部件分离。尽管一些工作引入了手动方法来缓解上述问题，但其质量不稳定且高度依赖手动信息。为解决上述问题，我们提出了一种自动方法层次化-生成链 (HCoG)。它利用大型语言模型将长描述分解为表示不同对象部件的块，并根据遮挡关系从内到外对其进行排序，形成层次化链。在每个块内部，我们首先粗略创建组件，然后通过目标区域定位和相应的 3D 高斯核优化来精确绑定属性。在块之间，我们引入高斯扩展和标签消除，以通过扩展新的高斯核、重新分配语义标签和消除不必要的核来无缝生成新部件，确保仅添加相关部件而不会干扰之前优化的部件。实验确认 HCoG 能产生结构连贯、属性忠实具有复杂属性的 3D 对象。该代码可在 https://github.com/Wakals/GASCOL 获取。
引用
@article{arxiv.2505.05505,
title = {Apply Hierarchical-Chain-of-Generation to Complex Attributes Text-to-3D Generation},
author = {Yiming Qin and Zhu Xu and Yang Liu},
journal= {arXiv preprint arXiv:2505.05505},
year = {2025}
}
备注
Project page here: https://hierarchical-chain-of-generation.github.io/