一种结合门控循环单元(GRU)与支持向量机(SVM)的神经网络架构用于网络流量数据入侵检测
神经与进化计算
2019-02-08 v8 密码学与安全
机器学习
机器学习
摘要
门控循环单元(GRU)是长短期记忆(LSTM)单元的一种近年发展的变体，两者均为循环神经网络(RNN)的类型。通过经验证据，这两种模型已被证明在广泛机器学习任务中有效，如自然语言处理(Wen et al., 2015)、语音识别(Chorowski et al., 2015)和文本分类(Yang et al., 2016)。传统上，像大多数神经网络一样，上述两种RNN变体采用Softmax函数作为其预测的最终输出层，并采用交叉熵函数计算其损失。在本文中，我们通过对GRU模型最终输出层引入线性支持向量机(SVM)替代Softmax，对这一现象进行修正。此外，交叉熵函数将被基于间隔的函数替代。虽然已有类似研究(Alalshekmubarak & Smith, 2013; Tang, 2013)，本提案主要针对使用京都大学蜜罐系统2013年网络流量数据的入侵检测二分类。结果显示GRU-SVM模型性能相对高于常规GRU-Softmax模型。所提模型达到约81.54%的训练准确率和约84.15%的测试准确率，而后者达到约63.07%的训练准确率和约70.75%的测试准确率。此外，这两种最终输出层的并列表明SVM在预测时间上优于Softmax——这一理论含义得到了研究中实际训练和测试时间的支持。
引用
@article{arxiv.1709.03082,
title = {A Neural Network Architecture Combining Gated Recurrent Unit (GRU) and Support Vector Machine (SVM) for Intrusion Detection in Network Traffic Data},
author = {Abien Fred Agarap},
journal= {arXiv preprint arXiv:1709.03082},
year = {2019}
}
备注
5 pages, 4 figures, 5 tables, accepted paper at the International Conference on Machine Learning and Computing (ICMLC) 2018