gen2Out：广义异常的检测与排序
机器学习
2021-11-17 v2
摘要
在m维数据点的云中，我们如何发现并对单点异常与群体异常进行检测和排序？我们首次从两个维度推广异常检测：第一维度是在统一视角下同时处理点异常与群体异常——我们称之为广义异常。第二维度是gen2Out不仅检测，还按可疑程度对异常排序。异常的检测与排序有众多应用：例如，癫痫患者的EEG记录中，异常可能指示发作；计算机网络流量数据中，可能意味着电力故障或DoS/DDoS攻击。我们首先建立若干合理公理；令人惊讶的是，早前方法无一通过所有公理。我们的主要贡献是gen2Out算法，其具有以下理想性质：(a) 遵循检测器公理的、有原则且合理的异常评分；(b) 双重广义性——检测并排序广义异常（点异常与群体异常）；(c) 可扩展，快速且随输入规模线性扩展；(d) 有效，在真实癫痫记录（200GB）上的实验经临床医生确认证明了gen2Out的有效性。在27个真实基准数据集上的实验表明，gen2Out能检测真值群体，在准确率上匹配或超越点异常基线算法，在群体异常上无竞争对手，且在普通机器上处理100万数据点约需2分钟。
引用
@article{arxiv.2109.02704,
title = {gen2Out: Detecting and Ranking Generalized Anomalies},
author = {Meng-Chieh Lee and Shubhranshu Shekhar and Christos Faloutsos and T. Noah Hutson and Leon Iasemidis},
journal= {arXiv preprint arXiv:2109.02704},
year = {2021}
}
备注
In Proceedings of 2021 IEEE International Conference on Big Data (Big Data)