边流中的实时异常检测
机器学习
2022-04-26 v3 社会与信息网络
机器学习
摘要
给定来自动态图的图边流，我们如何以在线方式为边分配异常分数，用以检测异常行为，并使用常数时间和内存？现有方法旨在检测个体上令人惊讶的边。在本工作中，我们提出 MIDAS，其专注于检测微簇异常，即突然到达的可疑相似边群组，例如锁步行为，包括网络流量数据中的拒绝服务攻击。我们进一步提出 MIDAS-F，以解决异常被纳入算法内部状态从而造成“中毒”效应、使未来异常可能未被检测到的问题。MIDAS-F 引入两处修改：1) 我们修改异常评分函数，旨在减少新到达边的“中毒”效应；2) 我们引入条件合并步骤，在每个时间 tick 后更新算法的数据结构，但仅当异常分数低于阈值时才更新，同样为了减少“中毒”效应。实验表明 MIDAS-F 的准确率显著高于 MIDAS。MIDAS 具有以下特性：(a) 它检测微簇异常，同时提供关于其假阳性概率的理论保证；(b) 它是在线的，因而以常数时间和常数内存处理每条边，并且比最先进方法快几个数量级地处理数据；(c) 它提供比最先进方法高至多 62% 的 ROC-AUC。
引用
@article{arxiv.2009.08452,
title = {Real-Time Anomaly Detection in Edge Streams},
author = {Siddharth Bhatia and Rui Liu and Bryan Hooi and Minji Yoon and Kijung Shin and Christos Faloutsos},
journal= {arXiv preprint arXiv:2009.08452},
year = {2022}
}
备注
Published in TKDD. Extended Journal Version of arXiv:1911.04464