用大语言模型革新网络威胁检测：一种基于BERT的隐私保护轻量级IoT/IIoT设备模型
摘要
自然语言处理 (NLP) 领域当前正经历由基于突破性 Transformer 架构的预训练大语言模型 (LLMs) 所驱动的变革性转变。随着网络安全攻击的频率与多样性持续上升，事件检测的重要性显著增加。IoT 设备正快速扩张，导致对能够以高精度和最小计算需求自主识别 IoT 网络中基于网络的攻击的高效技术的需求不断增长。本文提出 SecurityBERT，一种利用来自 Transformer 的双向编码器表征 (BERT) 模型进行 IoT 网络威胁检测的新架构。在 SecurityBERT 的训练过程中，我们引入了一种称为隐私保护定长编码 (PPFLE) 的新型隐私保护编码技术。通过将 PPFLE 与字节级字节对编码器 (BBPE) 分词器相结合，我们将网络流量数据有效地表示为结构化格式。我们的研究表明，SecurityBERT 在威胁检测上优于传统的机器学习 (ML) 与深度学习 (DL) 方法，如卷积神经网络 (CNNs) 或循环神经网络 (RNNs)。采用 Edge-IIoTset 网络安全数据集，我们的实验分析显示 SecurityBERT 在识别十四种不同攻击类型上取得了令人印象深刻的 98.2% 总体精度，超越了此前由基于 GAN-Transformer 的架构和 CNN-LSTM 模型等混合方案所创下的记录。在普通 CPU 上推理时间小于 0.15 秒且模型大小仅 16.7MB，SecurityBERT 非常适用于真实流量分析，也是部署在资源受限 IoT 设备上的合适选择。
引用
@article{arxiv.2306.14263,
title = {Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices},
author = {Mohamed Amine Ferrag and Mthandazo Ndhlovu and Norbert Tihanyi and Lucas C. Cordeiro and Merouane Debbah and Thierry Lestable and Narinderjit Singh Thandi},
journal= {arXiv preprint arXiv:2306.14263},
year = {2024}
}
备注
This paper has been accepted for publication in IEEE Access: http://dx.doi.org/10.1109/ACCESS.2024.3363469