预训练大型语言模型用于修复声明性形式规范的实证评估
软件工程
2025-06-13 v2
摘要
自动程序修复（APR）是聚焦于自动修复程序中 bug 的实用研究领域。虽然现有 APR 技术主要针对如 C 和 Java 等命令式编程语言，但对声明性软件规范语言有效解决方案的需求日益增长。本文系统性地探讨了大型语言模型（LLM）修复 Alloy 中声明性规范的能力。我们设计了 12 种不同的修复设置，涵盖单智能体和双智能体范式，运用各种 LLM。这些配置还包括不同层次的反馈，包括一种用于自动生成提示的自动提示机制。我们的研究发现，双智能体配合自动提示 setup 优于其他设置，尽管迭代次数和 token 使用量略有增加。该双智能体 setup 在全面基准测试中的效果优于当前最先进的 Alloy APR 技术。本工作是首次对 LLM 修复声明性规范的能力进行实证评估，同时考虑到 LLM 代理、反馈、自动提示和工具等最新趋势概念，为未来基于智能体的软件工程技术铺平了道路。
引用
@article{arxiv.2404.11050,
title = {An Empirical Evaluation of Pre-trained Large Language Models for Repairing Declarative Formal Specifications},
author = {Mohannad Alhanahnah and Md Rashedul Hasan and Lisong Xu and Hamid Bagheri},
journal= {arXiv preprint arXiv:2404.11050},
year = {2025}
}