基于 LLM 的 AWS 无服务器计算误配置检测
软件工程
2024-11-04 v1
摘要
无服务器计算是一种新兴的云计算范式，使开发者能够在函数级别构建应用程序，称为无服务器应用程序。亚马逊网络服务（AWS）是该领域的领先提供商，提供无服务器应用程序模型（AWS SAM），这是通过指定文件配置和管理无服务器应用程序的最广泛采用的配置模式。然而，误配置对无服务器开发构成了重大挑战。传统的数据驱动技术可能难以应对无服务器应用程序，因为无服务器配置的复杂性阻碍了模式识别，并且难以收集覆盖所有可能配置的完整数据集。利用预训练期间大量公开可用数据，大型语言模型（LLM）有潜力协助识别 and 解释无服务器应用程序中的误配置。在本文中，我们引入了 SlsDetector，这是第一个利用 LLM 检测无服务器应用程序中误配置的框架。SlsDetector 利用有效的提示工程和零样本学习来识别配置问题。它设计了专门针对无服务器应用程序配置特性的多维约束，并利用思维链技术来增强 LLM 的推理能力。我们在 110 个配置文件的精选数据集上评估了 SlsDetector。结果表明，基于 ChatGPT-4o 的 SlsDetector 实现了 72.88% 的精确率、88.18% 的召回率和 79.75% 的 F1 分数，分别超越了最先进的数据驱动方法 53.82、17.40 和 49.72 个百分点。此外，我们通过应用最近的 LLM（包括 Llama 3.1 (405B) Instruct Turbo 和 Gemini 1.5 Pro）研究了 SlsDetector 的泛化能力，结果显示这些模型均具有持续的高有效性。
引用
@article{arxiv.2411.00642,
title = {LLM-Based Misconfiguration Detection for AWS Serverless Computing},
author = {Jinfeng Wen and Zhenpeng Chen and Federica Sarro and Zixi Zhu and Yi Liu and Haodi Ping and Shangguang Wang},
journal= {arXiv preprint arXiv:2411.00642},
year = {2024}
}