IndusGCC：面向工业自动化中基于图形用户界面的通用计算机控制的数据基准与评估框架
系统与控制
2025-09-03 v1 系统与控制
摘要
随着工业 4.0 的推进，柔性制造已成为现代工业系统的基石，设备自动化在其中扮演着关键角色。然而，现有的工业设备控制软件通常依赖于需要人工交互（如鼠标点击或屏幕触摸）的图形用户界面（GUI），这对采用基于代码的设备自动化构成了重大障碍。最近，基于大语言模型的通用计算机控制（LLM-GCC）作为一种有前景的自动化 GUI 操作的方法而出现。然而，工业环境带来了独特的挑战，包括视觉多样、领域特定的界面以及要求高精度的关键任务。本文介绍了 IndusGCC，这是首个为工业环境中的 LLM-GCC 量身定制的数据集和基准，涵盖了从机械臂控制到生产线配置的七个领域的 448 个真实世界任务。IndusGCC 包含与设备软件的多模态人机交互数据，为 GUI 级代码生成提供了强大的监督。此外，我们提出了一个新颖的评估框架，该框架具有功能和结构指标，用于评估 LLM 生成的控制脚本。在主流 LLM 上的实验结果展示了 LLM-GCC 的潜力和面临的挑战，为未来实现全自动化工厂的研究奠定了坚实基础。我们的数据和代码可在以下链接公开获取：\href{https://github.com/Golden-Arc/IndustrialLLM}{https://github.com/Golden-Arc/IndustrialLLM。
引用
@article{arxiv.2509.01199,
title = {IndusGCC: A Data Benchmark and Evaluation Framework for GUI-Based General Computer Control in Industrial Automation},
author = {Xiaoran Yang and Yuyang Du and Kexin Chen and Soung Chang Liew and Jiamin Lu and Ziyu Guo and Xiaoyan Liu and Qun Yang and Shiqi Xu and Xingyu Fan and Yuchen Pan and Taoyong Cui and Hongyu Deng and Boris Dudder and Jianzhang Pan and Qun Fang and Pheng Ann Heng},
journal= {arXiv preprint arXiv:2509.01199},
year = {2025}
}