面向网络安全专家的小型语言模型
计算与语言
2025-10-17 v1 人工智能
密码学与安全
摘要
大型语言模型(LLMs)正在改变日常应用程序，但在网络安全领域的部署却因缺乏高质量、领域特定的模型和训练数据集而滞后。为此，我们提出CyberPal 2.0，一套网络安全专家小型语言模型(SLMs)，参数规模从4B到20B。为训练CyberPal 2.0，我们生成一个丰富的基于网络安全指令的数据集，利用我们的数据增强和格式化管道SecKnowledge 2.0构建，集成了领域专家对推理格式的引导式控制，以及LLM驱动的多步骤 grounding，产生更高保真度、以任务为导向的推理痕迹，用于安全任务。在多样化的网络安全基准测试中，CyberPal 2.0始终优于其基线模型，并在多个开源和闭源前沿模型中匹配或超越，同时仅为其规模的十分之一。在核心网络威胁情报知识任务上，我们的模型几乎超过了所有测试的前沿模型，仅次于Sec-Gemini v1。在核心威胁调查任务中，例如将漏洞和 bug ticket与弱点关联，我们的最佳20B参数模型超过GPT-4o、o1、o3-mini和Sec-Gemini v1，名列第一；而我们最小的4B参数模型排名第二。
引用
@article{arxiv.2510.14113,
title = {Toward Cybersecurity-Expert Small Language Models},
author = {Matan Levi and Daniel Ohayon and Ariel Blobstein and Ravid Sagi and Ian Molloy and Yair Allouche},
journal= {arXiv preprint arXiv:2510.14113},
year = {2025}
}