Segment Any Architectural Facades (SAAF)：基于多模态语义引导的建筑立面、墙面和窗户自动分割模型
计算机视觉与模式识别
2025-08-05 v2 人工智能
摘要
在建筑数字化发展背景下，墙面和窗户的自动分割是提高建筑信息模型和计算机辅助设计效率的关键步骤。本文提出一种基于多模态语义引导的建筑立面墙面和窗户自动分割模型，称为 Segment Any Architectural Facades（SAAF）。首先，SAAF 具备多模态语义协作特征提取机制。通过融合自然语言处理技术，可将文本描述中的语义信息与图像特征融合，增强对建筑立面组件的语义理解。其次，我们开发了端到端训练框架，使模型能够自主学习文本描述与图像分割之间的映射关系，减少人工干预对分割结果的影响，提高模型的自动化和鲁棒性。最后，我们在多个立面数据集上进行了广泛实验。分割结果在 mIoU 指标上优于现有方法，表明 SAAF 模型能够在面对多样化数据集时保持高精度分割能力。我们的模型在提高墙面和窗户分割任务的准确率和泛化能力方面取得了一定进展，预期为建筑计算机视觉技术的发展提供参考，也探索了多模态学习在建筑领域的应用新思路和技术路径。
引用
@article{arxiv.2506.09071,
title = {Segment Any Architectural Facades (SAAF):An automatic segmentation model for building facades, walls and windows based on multimodal semantics guidance},
author = {Peilin Li and Jun Yin and Jing Zhong and Ran Luo and Pengyu Zeng and Miao Zhang},
journal= {arXiv preprint arXiv:2506.09071},
year = {2025}
}