离散化令多模态大语言模型能够理解、生成与编辑建筑平面图

建筑平面图设计要求对几何、语义和空间层次进行联合推理，这是当前AI系统面临的主要挑战。尽管最近的扩散模型和语言模型在视觉保真度方面取得进展，但仍难以实现连贯的空间推理和可控生成。我们提出了HouseMind，一个统一建筑平面图理解、生成与编辑的多模态大语言模型。我们引入离散房间实例标记（discrete room-instance tokens），构建统一的词汇表以桥接布局与符号推理。通过多模态对齐和指令调优，该模型可从文本指令合成连贯且可控的布局。实验表明，该框架在几何有效性和可控性方面优于现有方法，同时保持高效和本地部署能力。