软件漏洞检测中的不平衡问题实证研究

漏洞检测是保护软件安全的关键任务。当前，深度学习（DL）是自动化完成此检测任务的最有前景的技术，能够从大量代码中提取模式和表示。尽管具有巨大潜力，基于DL的漏洞检测仍处于早期阶段，模型性能在不同数据集上表现呈现显著波动。借鉴计算机视觉等已广泛探索的应用领域，我们推测，这种现象的根本原因在于不平衡问题（即漏洞代码数量极少）。为验证这一假设，我们开展了涵盖九个开源数据集和两个最先进DL模型的全面实证研究。结果确认了我们的假设。我们还获得了关于现有不平衡解决方案在漏洞检测中性能的有见性的发现。这些解决方案在不同数据集和评估指标下的表现各不相同：1）Focal loss更适合提高精确率；2）平均误差和类别平衡损失有助于提高召回率；3）随机过采样有助于提高F1值。然而，没有任何一种方法能在所有指标上均表现出色。为深入探讨， 我们研究了这些解决方案受外部因素的影响，为开发新解决方案提供了见解。