通过 LLM 代理进行软件系统中识别性能敏感配置
软件工程
2024-06-19 v1 人工智能
摘要
配置设置对于满足特定性能需求的定制化软件行为至关重要。然而，错误的配置广泛存在，识别影响系统性能的配置具有挑战性，这是由于配置选项的数量庞大且复杂。本文提出 PerfSense，一个轻量级框架，利用大语言模型（LLM）高效识别具有最小开销的性能敏感配置。PerfSense 采用 LLM 代理模拟开发人员与性能工程师之间的交互，运用如提示链和检索增强生成（RAG）等高级提示技术。对七个开源 Java 系统的评估显示，PerfSense 在识别性能敏感配置的准确率达 64.77%，优于我们的 LLM 基线（50.36%）和之前的最先进方法（61.75%）。值得注意的是，提示链技术在保持类似精度水平的同时将召回率提高了 10%至 30%。此外，对 362 处误分类的手动分析揭示了常见问题，包括 LLM 对需求误解（26.8%）。总之，PerfSense 显著减少了对性能敏感配置进行分类的手动工作量，为未来 LLM 基于代码的分析研究提供了宝贵见解。
引用
@article{arxiv.2406.12806,
title = {Identifying Performance-Sensitive Configurations in Software Systems through Code Analysis with LLM Agents},
author = {Zehao Wang and Dong Jae Kim and Tse-Hsun Chen},
journal= {arXiv preprint arXiv:2406.12806},
year = {2024}
}