使用大型语言模型从模式自动实例化保证案
软件工程
2024-10-10 v1
摘要
保证案是由支持证据构成的结构化论证集，表明系统的非功能性要求（如安全性、可靠性）已正确实现。保证案模式是从以往成功的保证案中导出的模板，旨在 facilitate 创建新的保证案。尽管使用这些模式来生成保证案，但其实例化仍是一个大大依赖于领域专业知识的手动且容易出错的过程。因此，探索使用大型语言模型（LLM）自动化生成符合特定模式的保证案变得至关重要。本研究旨在调查大型语言模型在自动生成符合特定模式的保证案方面的潜力。具体而言，我们使用基于谓词的规则形式化保证案模式，然后利用 LLM（即 GPT-4o 和 GPT-4 Turbo）自动从这些形式化模式中实例化保证案。我们的发现表明，LLM 可以生成符合给定模式的保证案。然而，本研究也指出，LLM 在理解某些与模式特定关系相关的细微差别方面可能存在困难。尽管 LLM 在自动生成保证案方面展现出潜力，但其能力仍不足以取代人类专家。因此，目前可能更实用的做法是采用半自动方法来实例化保证案。
引用
@article{arxiv.2410.05488,
title = {Automatic Instantiation of Assurance Cases from Patterns Using Large Language Models},
author = {Oluwafemi Odu and Alvine B. Belle and Song Wang and Segla Kpodjedo and Timothy C. Lethbridge and Hadi Hemmati},
journal= {arXiv preprint arXiv:2410.05488},
year = {2024}
}