用于过程模型分析与优化的 LLM 评估
人工智能
2025-10-10 v1 计算与语言
计算机与社会
信息检索
机器学习
摘要
本文报告了我们对几种大语言模型（LLM）在交互式、对话式环境中理解过程模型、发现其语法和逻辑错误以及通过自然语言（natural language，NL）接口深入推理能力的经验。我们的发现表明，像 ChatGPT（模型 o3）这样的纯粹、未经过训练的 LLM 在零-shot 设置下，能够有效地从图像中理解 BPMN 流程模型，并在语法、逻辑和语义层次上深度回答有关查询。进一步地，不同的 LLM 在准确率和有效性方面的表现各不相同。然而，尽管进行了经验性分析，我们仍发现 LLM 在作为业务流程设计师和用户的助理方面发挥着宝贵的作用。我们还研究了 LLM 的“思考过程”以及其在过程分析和优化背景下进行更深层次推理的能力。我们发现，LLM 似乎表现出拟人化的特性。
引用
@article{arxiv.2510.07489,
title = {Evaluation of LLMs for Process Model Analysis and Optimization},
author = {Akhil Kumar and Jianliang Leon Zhao and Om Dobariya},
journal= {arXiv preprint arXiv:2510.07489},
year = {2025}
}
备注
15 pages, 5 tables, 4 figures; full research paper currently under review for the Workshop on Information Technologies and Systems (WITS) 2025. The paper presents a comprehensive evaluation of large language models (LLMs) for business process model analysis and optimization, including error detection, reasoning, and scenario-based redesign