AssetOpsBench：工业资产运维中任务自动化AI代理的基准测试
人工智能
2026-04-03 v3 多智能体系统
摘要
面向工业资产生命周期管理的AI旨在自动化复杂的操作工作流，如状态监控和维护调度，以最小化系统停机时间。虽然传统的AI/ML方法孤立地解决狭窄任务，但大语言模型（LLM）代理为端到端自动化提供了下一代机会。在本文中，我们引入了AssetOpsBench，一个用于编排和评估Industry 4.0领域特定代理的统一框架。AssetOpsBench提供了一个多模态生态系统，包括四个领域特定代理的目录、一个包含140多条基于真实工业场景的人工编写自然语言查询的精选数据集，以及一个基于CouchDB的模拟IoT环境。我们引入了一个自动化评估框架，使用三个关键指标来分析Tool-As-Agent和Plan-Executor范式之间的架构权衡，以及一个用于自动发现新兴故障模式的系统性程序。AssetOpsBench的实际相关性通过其广泛的社区采用得到体现，已有250多名用户和超过500个代理提交到我们的公共基准测试平台，支持现实世界工业操作的可复现和可扩展研究。代码可访问 https://github.com/IBM/AssetOpsBench。
引用
@article{arxiv.2506.03828,
title = {AssetOpsBench: Benchmarking AI Agents for Task Automation in Industrial Asset Operations and Maintenance},
author = {Dhaval Patel and Shuxin Lin and James Rayfield and Nianjun Zhou and Chathurangi Shyalika and Suryanarayana R Yarrabothula and Roman Vaculin and Natalia Martinez and Fearghal O'donncha and Jayant Kalagnanam},
journal= {arXiv preprint arXiv:2506.03828},
year = {2026}
}
备注
25 pages, 18 figures