基于提示增强的 ChatGPT 软件漏洞检测
软件工程
2024-04-15 v2
摘要
随着造成显著经济和社会损失的软件漏洞不断增加，自动漏洞检测在软件开发与维护中变得必不可少。近来，诸如 GPT 之类的大语言模型（LLM）因其惊人智能而受到相当关注，一些研究考虑使用 ChatGPT 进行漏洞检测。然而，它们未充分考虑 LLM 的特性，因为其向 ChatGPT 设计的问题较为简单，缺乏针对漏洞检测的专门提示设计。本文开展了一项关于使用不同提示设计的 ChatGPT 进行软件漏洞检测性能的研究。首先，我们通过对基础提示应用多种改进来补充先前工作。此外，我们融入结构与顺序辅助信息以改进提示设计。另外，我们利用 ChatGPT 记忆多轮对话的能力来设计适用于漏洞检测的提示。我们在两个漏洞数据集上进行了大量实验，以证明使用 ChatGPT 的提示增强漏洞检测的有效性。我们还分析了使用 ChatGPT 进行漏洞检测的优缺点。代码仓库：https://github.com/KDEGroup/LLMVulnerabilityDetection。
引用
@article{arxiv.2308.12697,
title = {Prompt-Enhanced Software Vulnerability Detection Using ChatGPT},
author = {Chenyuan Zhang and Hao Liu and Jiutian Zeng and Kejing Yang and Yuhong Li and Hui Li},
journal= {arXiv preprint arXiv:2308.12697},
year = {2024}
}
备注
Full report of our ICSE'24 poster