利用源代码度量与 LLM 进行方法级缺陷严重性预测
软件工程
2023-09-07 v1
摘要
在过去几十年中，大量研究工作致力于软件缺陷预测。然而，该领域大多数现有工作将所有缺陷同等对待，而实践中并非如此。缺陷预测方法估计已识别缺陷的严重性十分重要，以便高严重性的缺陷得到即时关注。在本研究中，我们考察源代码度量、使用大语言模型（LLMs）的源代码表示，以及它们的组合在两个著名数据集上预测缺陷严重性标签的情况。我们利用方法级粒度上的若干源代码度量来训练八种不同的机器学习模型。我们的结果表明，就我们的若干评估指标而言，决策树和随机森林模型优于其他模型。我们随后使用预训练的 CodeBERT LLM 研究源代码表示在预测缺陷严重性方面的有效性。与基于源代码度量的最佳经典预测模型相比，CodeBERT 微调将缺陷严重性预测结果在若干评估指标上显著提升了 29%–140%。最后，我们使用我们提出的两个架构将源代码度量作为额外输入集成到 CodeBERT 中，两者均增强了 CodeBERT 模型的有效性。
引用
@article{arxiv.2309.03044,
title = {Method-Level Bug Severity Prediction using Source Code Metrics and LLMs},
author = {Ehsan Mashhadi and Hossein Ahmadvand and Hadi Hemmati},
journal= {arXiv preprint arXiv:2309.03044},
year = {2023}
}