基于对比预训练的入侵检测特征分布偏移缓解
机器学习
2024-04-25 v1 人工智能
网络与互联网体系结构
摘要
近年来，人们对使用机器学习 (ML)，尤其是深度学习 (DL) 来解决网络入侵检测 (NID) 问题的兴趣日益浓厚。然而，特征分布偏移问题仍然是一个难点，因为特征分布随时间的变化会对模型性能产生负面影响。作为一种有前途的解决方案，模型预训练作为一种新颖的训练范式出现，它带来了针对特征分布偏移的鲁棒性，并已在计算机视觉 (CV) 和自然语言处理 (NLP) 中被证明是成功的。为了验证这种范式是否有利于 NID 问题，我们提出了 SwapCon，一种 NID 背景下的 ML 模型，它在预训练阶段压缩平移不变特征信息，并在微调阶段进行细化。我们使用 Kyoto2006+ 数据集举例说明了特征分布偏移的证据。我们展示了用适当大小预训练模型如何能将对特征分布偏移的鲁棒性提高 8% 以上。此外，我们展示了适当的数值嵌入策略如何也能增强预训练模型的性能。进一步的实验表明，所提出的 SwapCon 模型也以很大优势优于基于极限梯度提升 和 K 近邻 的模型。
引用
@article{arxiv.2404.15382,
title = {Feature Distribution Shift Mitigation with Contrastive Pretraining for Intrusion Detection},
author = {Weixing Wang and Haojin Yang and Christoph Meinel and Hasan Yagiz Özkan and Cristian Bermudez Serna and Carmen Mas-Machuca},
journal= {arXiv preprint arXiv:2404.15382},
year = {2024}
}
备注
accepted by ICMLCN24