ChatGPT 模型在漏洞检测上的评估
密码学与安全
2023-04-17 v1 人工智能
软件工程
摘要
在本技术报告中，我们评估了 ChatGPT 与 GPT-3 模型在代码漏洞检测任务上的表现。我们的评估在真实世界数据集上进行，针对 CWE 漏洞采用二分类与多标签分类任务。我们决定评估该模型是因为它在其他基于代码的任务（如解决编程挑战以及高层次理解代码）上展现了良好表现。然而，我们发现 ChatGPT 模型在代码漏洞检测的二分类与多标签分类任务上均未优于虚拟分类器。
引用
@article{arxiv.2304.07232,
title = {Evaluation of ChatGPT Model for Vulnerability Detection},
author = {Anton Cheshkov and Pavel Zadorozhny and Rodion Levichev},
journal= {arXiv preprint arXiv:2304.07232},
year = {2023}
}