InfraMind：一种面向关键任务工业管理的基于探索的GUI智能体框架
人工智能
2025-09-18 v1 软件工程
摘要
关键任务工业基础设施，如数据中心，越来越依赖于复杂的管理软件。然而，其运营因系统复杂度日益升高、多供应商集成以及专家运维人员短缺而面临重大挑战。虽然机器人过程自动化（Robotic Process Automation, RPA）通过手工脚本提供部分自动化，但受限于灵活性和高维护成本。最近的基于大语言模型（Large Language Model, LLM）的图形用户界面（GUI）智能体进展使更灵活的自动化成为可能，但这些通用智能体在应用于工业管理时面临五个关键挑战：包括不熟悉元素理解、精确性和效率、状态定位、部署限制和安全要求。为了解决这些问题，我们提出InfraMind，一种专为工业管理系统设计的基于探索的GUI智能体框架。InfraMind集成了五个创新模块，系统性地解决工业管理中的不同挑战：（1）基于系统搜索的探索，结合虚拟机快照，用于自主理解复杂GUI；（2）记忆驱动的规划，以确保高精度和高效的任务执行；（3）先进的状态识别，用于在层次化界面中实现稳健的定位；（4）结构化知识蒸馏，用于轻量级模型的高效部署；（5）综合的多层次安全机制，以保护敏感操作。在开源和商业DCIM平台上的大规模实验表明，我们的方法在任务成功率和操作效率方面 consistently 优于现有框架，为工业管理自动化提供了严谨且可扩展的解决方案。
引用
@article{arxiv.2509.13704,
title = {InfraMind: A Novel Exploration-based GUI Agentic Framework for Mission-critical Industrial Management},
author = {Liangtao Lin and Zhaomeng Zhu and Tianwei Zhang and Yonggang Wen},
journal= {arXiv preprint arXiv:2509.13704},
year = {2025}
}