面向软件漏洞预测的持续学习增强：基于混合置信度选择性重放的时序LLM微调以解决灾难性遗忘
密码学与安全
2026-03-02 v1 人工智能
机器学习
摘要
最近的工作将大型语言模型(LLM)应用于源代码漏洞检测，但大多数评估仍依赖随机训练-测试划分，忽略时间因素并高估实际性能。实际情况下，检测器会部署在不断演化的代码库中，必须在时序分布迁移下识别未来漏洞。本文调查了基于CVE链接数据集（覆盖2018-2024年）的解码器样式语言模型（microsoft/phi-2使用LoRA）的持续微调，数据按两个月为单位组织。我们评估了八种持续学习策略，包括窗口唯一训练和累积训练、基于重放的基线和基于正则化的变体。我们提出了混合类别感知选择性重放(Hybrid-CASR)，一种用于二分类漏洞的置信度感知重放方法，优先选择不确定的样本，同时在回放缓冲区中保持VULNERABLE和FIXED函数的平衡比例。在双月前向评估中，Hybrid-CASR实现了0.667的Macro-F1，显著优于窗口唯一基线(0.651)，统计上具有显著性(p=0.026)，并表现出更强的backward保留(IBR@1为0.741)。Hybrid-CASR还将窗口的训练时间缩短了约17%，而累积训练仅提供了轻微的F1提高(0.661)，但计算成本高出15.9倍。总体而言，结果表明，带有类别平衡的选择性重放为LLM基于时序漏洞检测下的持续时序漂移提供了实用的准确性-效率权衡。
引用
@article{arxiv.2602.23834,
title = {Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning},
author = {Xuhui Dou and Hayretdin Bahsi and Alejandro Guerra-Manzanares},
journal= {arXiv preprint arXiv:2602.23834},
year = {2026}
}
备注
Accepted for publication in the Proceedings of the 2026 International Conference on Information Systems Security and Privacy (ICISSP)