"堆起来！": 从2D手绘草图生成3D稳定结构

想象一下，孩子画了一幅埃菲尔铁塔的草图，并问机器人把它变活过来。今天的机器人操作系统无法直接处理此类草图——它们需要精确的3D块姿态作为目标，而这又需要结构分析和诸如CAD等专业工具。我们提出StackItUp系统，使非专业用户仅能通过2D正视图手绘草图指定复杂的3D结构。StackItUp引入抽象关系图谱，搭建粗糙草图与准确3D块布局之间的鸿沟，捕捉符号化几何关系（如"左于"）和稳定性模式（如"双柱桥"），同时忽略草图中噪声的度量细节。随后，它通过组合扩散模型将该图谱 grounding 到3D姿态，并通过预测隐藏的内部和后方支撑点来迭代更新这些点——这些点对于稳定性至关重要，但在草图中并不存在。在对著名地标和现代住宅设计的草图进行评估后，StackItUp始终能够生成稳定的多层3D结构，并在稳定性和视觉逼真度上超越所有基线方法。