基于情境学习和信息融合的 SVA-ICL：提高基于大语言模型的软件漏洞评估效果
软件工程
2025-05-29 v2
摘要
背景：软件漏洞评估（SVA）对于识别、评估和优先级排序软件应用程序中的安全弱点至关重要。目标：尽管大语言模型（LLM）在各种软件工程任务中日益受到应用，但其在 SVA 中的效果仍未得到充分探索。方法：为此，我们引入一种新方法 SVA-ICL，通过信息融合来增强 LLM 性能。该方法涉及通过信息融合选择高质量情境示例，融合源代码和漏洞描述。对于源代码，我们考虑语义、词汇和句法相似性，而对于漏洞描述，我们关注文本相似性。基于所选情境示例，我们构建情境提示，并考虑 DeepSeek-V2 作为 SVA-ICL 的 LLM。结果：我们使用包含 12,071 个 C/C++ 漏洞的大规模数据集评估 SVA-ICL 的效果。实验结果表明，SVA-ICL 在 Accuracy、F1-score 和 MCC 等指标上均优于基于 LLM 的最新 SVA 基线。此外，消融研究突显了 SVA-ICL 中组件定制的重要性，例如情境示例的数量、情境示例排序策略以及不同模态融合比例的最优选择。结论：我们的发现表明，利用情境学习与信息融合可有效提高基于 LLM 的 SVA 效果，此方向值得进一步研究。
关键词
引用
@article{arxiv.2505.10008,
title = {SVA-ICL: Improving LLM-based Software Vulnerability Assessment via In-Context Learning and Information Fusion},
author = {Chaoyang Gao and Xiang Chen and Guangbei Zhang},
journal= {arXiv preprint arXiv:2505.10008},
year = {2025}
}
备注
Accepted by Information and Software Technology