基于大语言模型的网络物理系统需求建模评估

网络物理系统（CPSs）集成了网络和物理组件，使其能够相互交互以满足用户需求。CPSs的需求涵盖了医疗保健、智能家居、智能建筑等丰富的应用领域。这表明CPSs是关于解决实际问题的。随着感知设备和执行器的日益增多，CPSs要解决的问题正变得越来越复杂。准确提取和表达CPSs需求也变得日益困难。问题框架方法旨在通过捕捉组件的特征和相互关联性来塑造实际问题，其中问题图是表达需求的核心。CPSs需求通常以特定领域的文档呈现，这些文档通常以自然语言表达。目前没有有效的方法可以从自然语言文档中提取问题图。CPSs需求的提取和建模通常是手动完成的，这既耗时又费力，又容易出错。大语言模型（LLMs）在自然语言理解方面表现出色。在探索LLMs理解特定领域文档并识别建模元素的能力方面是值得关注的，这篇论文就是在此方向上工作。为实现这一目标，我们首先提出了两个任务（即实体识别和交互提取），并提出了一个名为CPSBench的基准测试。基于该基准，我们对七个先进的LLMs进行了大量实验，以评估其能力和局限性。我们发现了一些有趣的见解。最后，我们使用问题图建立了LLMs在CPSs需求建模中幻觉的分类法。这些结果将激发有关使用LLMs进行自动CPSs需求建模的研究。