探索ChatGPT在漏洞管理中的能力

近来，ChatGPT引起了代码分析领域的极大关注。已有工作表明，ChatGPT具备处理基础代码分析任务的能力，例如抽象语法树生成，这说明利用ChatGPT理解代码语法与静态行为具有潜力。然而，尚不清楚ChatGPT能否完成更复杂的现实世界漏洞管理任务，例如安全相关性预测与补丁正确性判断，这些任务需要对代码语法、程序语义以及相关人工注释等多方面有全面理解。本文利用包含70,346个样本的大规模数据集，探索ChatGPT在涉及完整漏洞管理流程的6项任务上的能力。对每项任务，我们将ChatGPT与SOTA方法比较，考察不同提示的影响，并探讨其困难。结果表明，借助ChatGPT辅助漏洞管理具有可观潜力。一个显著例子是ChatGPT在诸如为软件缺陷报告生成标题等任务上的熟练表现。此外，我们的发现揭示了ChatGPT遇到的困难，并指明了有前景的未来方向。例如，在提示中直接提供随机示例演示并不能稳定保证漏洞管理中的良好表现；相比之下，以自启发方式利用ChatGPT——从其自身示例演示中提取专业知识并融入提示——是一个有前景的研究方向。另外，ChatGPT可能误解并误用提示中的信息。因此，有效引导ChatGPT关注有用信息而非无关内容仍是一个开放问题。