基于频域草图数据结构的边缘流分布式异常检测
分布式、并行与集群计算
2022-01-07 v1
摘要
大型数据中心中托管的日志通常代表长时间内的网络流量数据。例如，通过TCP dump数据包嗅探器记录的此类网络流量数据（如1998年DARPA入侵攻击中所考虑）包含计算机之间传输的网络数据包。虽然在线框架对于实时检测任何异常或可疑网络活动（如拒绝服务攻击或未经授权的使用）是必要的，但此类大型数据中心通常长时间记录数据（例如TCP dump），因此离线框架在这种场景下更为合适。给定一个来自动态图的边网络日志历史，我们如何仅使用常数内存并在比现有最优方法更有限的时间内，以高精度为指示可疑事件的单个边分配异常分数？我们提出MDistrib及其变体，其提供（a）相比其他方法通过支持GPU的分布式处理实现更快的异常事件检测，（b）在固定空间下比现有最优方法更好的假阳性保证，以及（c）基于冲突感知的异常评分，以获得比现有最优方法更好的准确性结果。我们描述的实验证实MDistrib比先前的工作更高效。
引用
@article{arxiv.2111.13949,
title = {Distributed Anomaly Detection in Edge Streams using Frequency based Sketch Datastructures},
author = {Prateek Chanda and Malay Bhattacharya},
journal= {arXiv preprint arXiv:2111.13949},
year = {2022}
}