面向真实评估的 just-in-time 漏洞预测
软件工程
2025-07-23 v2
摘要
现代软件系统日益复杂，正在为质量保证带来显著挑战。just-in-time 漏洞预测 (JIT-VP) 是一种主动识别易受攻击提交并提供潜在安全风险预警的方法。然而，我们注意到当前的 JIT-VP 评估依赖于理想化的设置，即评估数据集人工平衡，仅包含漏洞引入提交和漏洞修复提交。为克服这一局限，本研究评估了 JIT-VP 技术在更真实的设置下的效果，该设置包括漏洞相关提交和漏洞中性提交。为实现可靠的评估，我们引入了一个大规模公共数据集，包含来自 FFmpeg 和 Linux 内核的超过一百万个提交。我们对八种最先进的 JIT-VP 技术进行经验分析，发现当应用于真实世界条件时，预测性能显著下降；例如，在 Linux 上平均 PR-AUC 从 0.805 下降到 0.016。这一差异主要归因于真实世界数据集中的严重类别不平衡，即漏洞引入提交仅占所有提交的一小部分。为缓解这一问题，我们探讨了广泛采用的数据不平衡处理技术，包括自定义损失函数、过采样和欠采样。意外地，我们的实验结果表明，这些技术在 JIT-VP 中无效地解决了不平衡问题。这些发现凸显了 JIT-VP 真实评估的重要性以及针对此类情境下数据不平衡的领域特定技术的必要性。
引用
@article{arxiv.2507.10729,
title = {Toward Realistic Evaluations of Just-In-Time Vulnerability Prediction},
author = {Duong Nguyen and Thanh Le-Cong and Triet Huynh Minh Le and M. Ali Babar and Quyet-Thang Huynh},
journal= {arXiv preprint arXiv:2507.10729},
year = {2025}
}