形状思维：通过视觉链式思维实现逐层对象装配
计算机视觉与模式识别
2026-01-30 v1
摘要
文本到图像的多模态模型虽在视觉保真性方面取得显著进展，但在构成性结构约束下仍显脆弱，尤其是生成数感知、属性绑定和部件级关系。为此，我们提出形状思维（SoT），一种视觉链式思维框架，使其能通过无外部引擎的连贯二维投影实现逐层形状装配。SoT训练统一的多模态自回归模型，生成交替的文本计划与渲染中间状态，帮助模型捕获形状装配逻辑，而无需生成显式几何表示。为支持此范式，我们引入SoT-26K数据集，源自基于部件的CAD层次结构，生成大规模的装配轨迹；以及T2S-CompBench基准，用于评估结构完整性和轨迹忠实性。在SoT-26K上的微调实现了88.4%的组件数感知和84.8%的结构拓扑，显著优于仅文本的基线约20%。SoT建立了一种透明、过程监督的构成性生成新范式。代码已公开于https://anonymous.4open.science/r/16FE/。SoT-26K数据集将在接受后发布。
引用
@article{arxiv.2601.21081,
title = {Shape of Thought: Progressive Object Assembly via Visual Chain-of-Thought},
author = {Yu Huo and Siyu Zhang and Kun Zeng and Haoyue Liu and Owen Lee and Junlin Chen and Yuquan Lu and Yifu Guo and Yaodong Liang and Xiaoying Tang},
journal= {arXiv preprint arXiv:2601.21081},
year = {2026}
}
备注
The code is available at https://anonymous.4open.science/r/16FE/