从文本生成物理稳定可构建的砖块结构
计算机视觉与模式识别
2025-11-14 v3
摘要
我们提出 BrickGPT，这是第一个从文本提示生成物理稳定互相连接砖块装配模型的方法。为实现此目标，我们构建了一个大规模物理稳定的砖块结构数据集，包含关联的标题描述，并训练一个自回归大语言模型通过 next-token 预测来预测下一个要添加的砖块。为提高最终设计的稳定性，我们在自回归推理期间采用高效的有效性检查和物理感知回滚机制，该机制根据物理法则和装配约束剔除不可行的 token 预测。我们的实验表明，BrickGPT 产生的砖块结构稳定、多样且审美观赏，能够紧密对齐输入文本提示。我们还开发了基于文本的砖块纹理方法，用于生成带颜色和纹理的设计。我们展示了这些设计可被人类手动装配，也可被机器人臂自动装配。我们公开了新的数据集 StableText2Brick，其中包含超过 47,000 个砖块结构，涵盖 28,000 多个独特 3D 物体，附带详细标题描述，以及我们的项目网站上的代码和模型：https://avalovelace1.github.io/BrickGPT/。
引用
@article{arxiv.2505.05469,
title = {Generating Physically Stable and Buildable Brick Structures from Text},
author = {Ava Pun and Kangle Deng and Ruixuan Liu and Deva Ramanan and Changliu Liu and Jun-Yan Zhu},
journal= {arXiv preprint arXiv:2505.05469},
year = {2025}
}
备注
Project page: https://avalovelace1.github.io/BrickGPT/