微调大型语言模型用于漏洞检测
密码学与安全
2024-07-30 v5 人工智能
机器学习
摘要
本文介绍了微调大型语言模型用于检测源代码中漏洞的结果。我们利用WizardCoder（最新改进的先进LLM StarCoder），并通过进一步微调使其适应漏洞检测。为了加速训练，我们修改了WizardCoder的训练过程，并研究了最佳训练方案。对于负样本远多于正样本的不平衡数据集，我们还探索了不同的技术来提高分类性能。微调后的WizardCoder模型在平衡和不平衡的漏洞数据集上的ROC AUC和F1指标上均优于类似CodeBERT的模型，证明了将预训练LLM用于源代码漏洞检测的有效性。主要贡献包括：微调最先进的代码LLM WizardCoder，在不损害性能的情况下提高其训练速度，优化训练过程和方案，处理类别不平衡，以及在困难的漏洞检测数据集上提升性能。这展示了通过微调大型预训练语言模型进行专门源代码分析任务的迁移学习潜力。
引用
@article{arxiv.2401.17010,
title = {Finetuning Large Language Models for Vulnerability Detection},
author = {Alexey Shestov and Rodion Levichev and Ravil Mussabayev and Evgeny Maslov and Anton Cheshkov and Pavel Zadorozhny},
journal= {arXiv preprint arXiv:2401.17010},
year = {2024}
}