基于混合大语言模型的可解释勒索病毒检测：对比 BERT、RoBERTa 与 DeBERTa 通过 LIME 和 SHAP 的分析
密码学与安全
2026-01-21 v1
摘要
勒索病毒持续演化，使得及时且可解释的检测成为现代网络安全系统的关键要求。本研究对三种基于 Transformer 的大语言模型 (BERT、RoBERTa 和 DeBERTa) 用于勒索病毒检测进行比较分析，分别采用结构化数据集：UGRansome 和 Process Memory (PM)。由于 LLM 主要设计用于自然语言处理 (NLP)，本文通过 KBinsDiscretizer 和基于 token 的编码将数值和类别特征转化为文本序列，使模型能够通过情境嵌入从系统活动和网络流量中学习行为模式。模型在约 2,500 份标记样本上进行微调，并使用准确率、F1 分数和 ROC-AUC 进行评估。为确保该高风险领域的决策透明化，本文应用两种可解释 AI 技术 (LIME 和 SHAP) 对特征贡献进行解释。结果显示，各模型学习到的勒索病毒相关线索不同：BERT 高度依赖 dominant 文件操作特征，RoBERTa 在网络和财务信号之间表现出均衡的依赖，而 DeBERTa 对财务和网络流量指标表现出强大的灵敏性。嵌入可视化进一步揭示了 token 表示的结构差异，RoBERTa 产生更均匀的嵌入，而 DeBERTa 捕获高度方向性、解耦的模式。在一般情况下，RoBERTa 实现了最强的 F1 分数，而 BERT 获得了最高的 ROC-AUC 性能。LLM 与 XAI 的集成提供了一个能够识别勒索病毒预测背后特征层面证据的透明框架。
引用
@article{arxiv.2511.13517,
title = {Interpretable Ransomware Detection Using Hybrid Large Language Models: A Comparative Analysis of BERT, RoBERTa, and DeBERTa Through LIME and SHAP},
author = {Elodie Mutombo Ngoie and Mike Nkongolo Wa Nkongolo and Peace Azugo and Mahmut Tokmak},
journal= {arXiv preprint arXiv:2511.13517},
year = {2026}
}