一种基于立方体抽样处理流数据的高效异常检测方法
机器学习
2021-10-06 v1
摘要
异常检测在诸多领域至关重要，包括入侵检测、健康监测、故障诊断和传感器网络事件检测。孤立森林（iForest）方法是检测异常的知名技术。然而，在处理动态流数据时它效率低下，而如今流数据在各类应用领域中日益普遍。在本工作中，我们扩展了先前的研究，提出一种基于 iForest 的高效异常检测方法，利用立方体抽样（cube sampling）在流数据上有效工作。立方体抽样在初始阶段用于选取近乎均衡的样本，在保持效率的同时显著降低存储需求。随后，数据的流式特性通过滑动窗口技术处理，该技术生成连续的数据块以进行系统处理。本文的新颖之处在于将立方体抽样应用于 iForest 并计算包含概率（inclusion probability）。所提方法在检测异常方面与现有最先进方法同样成功，且所需存储与时间复杂度显著更低。我们使用标准数据集对该方法进行实证评估，证明其相较传统方法在 ROC 曲线下面积（AUC-ROC）上更优，并能处理高维流数据。
引用
@article{arxiv.2110.01813,
title = {An Efficient Anomaly Detection Approach using Cube Sampling with Streaming Data},
author = {Seemandhar Jain and Prarthi Jain and Abhishek Srivastava},
journal= {arXiv preprint arXiv:2110.01813},
year = {2021}
}
备注
8 pages, 2 figures