SCoPE：评估用于软件漏洞检测的大语言模型
软件工程
2024-07-22 v1 人工智能
密码学与安全
机器学习
摘要
近年来，代码安全变得越来越重要，尤其是随着互联技术的兴起。在软件开发过程的早期检测漏洞已展现出诸多益处。因此，科学界开始使用机器学习来自动检测源代码漏洞。这项工作探索并精炼了 CVEFixes 数据集，该数据集通常用于训练与代码相关任务的模型，特别是其 C/C++ 子集。为此，我们提出了源代码处理引擎（SCoPE），这是一个由策略化技术组成的框架，可用于缩减 C/C++ 函数的规模并对其进行规范化。SCoPE 生成的输出被用于创建 CVEFixes 的新版本。然后，这个精炼后的数据集被用于特征表示分析，以评估该工具代码处理技术的有效性，该分析包括微调三个预训练的 LLM 以进行软件漏洞检测。结果表明，SCoPE 成功地帮助在评估的子集中识别出 905 个重复项。LLM 的结果证实了文献中关于它们适用于软件漏洞检测的结论，最佳模型达到了 53% 的 F1 分数。
引用
@article{arxiv.2407.14372,
title = {SCoPE: Evaluating LLMs for Software Vulnerability Detection},
author = {José Gonçalves and Tiago Dias and Eva Maia and Isabel Praça},
journal= {arXiv preprint arXiv:2407.14372},
year = {2024}
}
备注
10 pages, 3 figures, 1 table, published in DCAI 24 conference