BIMgent：面向自主建筑建模的基于计算机操作智能体框架
人工智能
2025-07-01 v2
摘要
现有计算机操作智能体主要聚焦于通用桌面自动化任务，仅限于高度专业领域的应用探索有限。特别是建筑、工程与建造（AEC）行业的3D建筑建模过程涉及开放性设计任务和复杂的Building Information Modeling（BIM） authoring软件中的交互模式，目前的研究尚未充分探讨。本文提出BIMgent，一种由多模态大语言模型（LLM）驱动的智能体框架，旨在通过图形用户界面（GUI）操作实现自主建筑模型 authoring。BIMgent自动化了建筑建模过程，包括概念设计的多模态输入、软件特定工作流程的规划以及authoring GUI动作的高效执行。我们在真实世界的建筑建模任务上对BIMgent进行评估，包括基于文本的概念设计生成和从现有建筑设计重建。结果显示，BIMgent所实现的设计质量尚可。其操作成功率达32%，而所有基线模型均未能完成任务（0%成功率）。结果表明，BIMgent有效减少了手动工作负担，同时保留了设计意图，凸显其在实际建筑建模场景中具有实际部署的潜力。项目页面：https://tumcms.github.io/BIMgent.github.io/
引用
@article{arxiv.2506.07217,
title = {BIMgent: Towards Autonomous Building Modeling via Computer-use Agents},
author = {Zihan Deng and Changyu Du and Stavros Nousias and André Borrmann},
journal= {arXiv preprint arXiv:2506.07217},
year = {2025}
}
备注
ICML 2025 Workshop on Computer Use Agents