低维特征子集上异常簇检测及其在网络流量数据中的应用
网络与互联网体系结构
2015-11-04 v1 密码学与安全
机器学习
摘要
在多种应用中，人们希望检测异常数据样本的组群，其中某个组群可能在其全部被测特征集的低维子集上表现出非典型性（相对于参考模型）。单个样本可能仅表现出微弱的非典型性，而联合考虑时可能表现出强烈的非典型性。使得该组异常检测问题极具挑战性的是，事先未知是哪个特征子集联合表征了特定的异常组群。此外，给定数据批次中存在多少异常组群也是未知的。本工作中，我们提出一种组异常检测（group anomaly detection, GAD）方案，以识别联合界定异常簇的样本子集与特征子集。我们将该方法应用于网络入侵检测，以检测 BotNet 和 peer-to-peer 流簇。与以往研究不同，我们的方法捕获并利用被测特征之间可能存在的统计依赖关系。在真实世界网络流量数据上的实验证明了我们所提系统的优势，并凸显了利用特征依赖结构的重要性，相较于以往研究中所做的特征（或测试）独立性假设。
引用
@article{arxiv.1511.01047,
title = {Detecting Clusters of Anomalies on Low-Dimensional Feature Subsets with Application to Network Traffic Flow Data},
author = {Zhicong Qiu and David J. Miller and George Kesidis},
journal= {arXiv preprint arXiv:1511.01047},
year = {2015}
}