SEvenLLM：大型语言模型在网络威胁情报中的能力基准测试、激发与增强
密码学与安全
2024-06-04 v2
摘要
为了应对近期网络安全威胁报告中超过 100 亿实例所强调的日益增长的复杂性和频率，网络威胁情报（CTI）在现代网络安全格局中发挥着关键作用，它提供了理解和对抗不断演变的网络威胁所需的洞察力。受大型语言模型（LLM）在处理复杂任务方面的强大能力启发，在本文中，我们引入了一个框架，用于基准测试、激发和改进 LLM 在安全事件（SEvenLLM）中的网络安全事件分析和响应能力。具体来说，我们通过从网络安全网站爬取网络安全原始文本来创建一个高质量的双语指令语料库，以克服信息提取有效数据的缺乏。然后，我们设计了一个流水线，从任务池中自动选择任务，并将原始文本转换为由问题和回答组成的监督语料。指令数据集 SEvenLLM-Instruct 用于使用多任务学习目标（27 个精心设计的任务）训练网络安全 LLM，以增强网络安全事件的分析。在我们策划的基准测试（SEvenLLM-bench）上的大量实验表明，SEvenLLM 执行更复杂的威胁分析，并加强防御以应对不断演变的网络威胁。
引用
@article{arxiv.2405.03446,
title = {SEvenLLM: Benchmarking, Eliciting, and Enhancing Abilities of Large Language Models in Cyber Threat Intelligence},
author = {Hangyuan Ji and Jian Yang and Linzheng Chai and Chaoren Wei and Liqun Yang and Yunlong Duan and Yunli Wang and Tianzhen Sun and Hongcheng Guo and Tongliang Li and Changyu Ren and Zhoujun Li},
journal= {arXiv preprint arXiv:2405.03446},
year = {2024}
}