高亮显示能帮助 GitHub 维护者追踪安全修复吗？
密码学与安全
2024-11-19 v1 软件工程
摘要
近年来，安全漏洞的快速增长给其追踪和管理带来了巨大挑战。例如，据报道 NVD 数据库由于维护者短缺而经历了严重的延迟。这种延迟给第三方安全人员（例如管理员）追踪与 CVE 相关的信息带来了挑战。为了帮助安全人员追踪漏洞补丁，我们构建了一个检索系统，可自动在代码库中检索补丁。受现有可解释机器学习工作的启发，我们提出了以下研究问题：解释能否帮助安全维护者在补丁追踪中做出决策？首先，我们研究使用 LIME（一种广泛使用的可解释机器学习方法）来高亮显示提交消息和代码中的理据词元。此外，我们提出了一种名为 TfIdf-Highlight 的解释方法，该方法利用 Tf-Idf 统计信息来选择代码库和数据集中信息量最大的词。我们通过两个实验评估了高亮显示的有效性。首先，我们使用为排序定义的忠实度得分（即充分性和全面性）比较了 LIME 和 TfIdf-Highlight。我们发现 TfIdf-Highlight 的充分性得分显著优于 LIME 15%，且全面性得分也略优于 LIME。其次，我们通过要求标注者在 3 种设置下（TfIdf-Highlight、LIME 和无高亮）猜测补丁，进行了一项盲人标注实验。我们发现 TfIdf-Highlight 的帮助性得分高于 LIME，而 LIME 和 TfIdf-Highlight 的标注准确率相似。尽管如此，高亮显示并没有比无高亮显示提高准确率。
引用
@article{arxiv.2411.11646,
title = {Can Highlighting Help GitHub Maintainers Track Security Fixes?},
author = {Xueqing Liu and Yuchen Xiong and Qiushi Liu and Jiangrui Zheng},
journal= {arXiv preprint arXiv:2411.11646},
year = {2024}
}