McCatch：维度与非维度数据集中可扩展的微簇检测
摘要
我们如何拥有一个即使在非维度数据上也能工作，并能根据异常分数将单元素微簇（“一次性”离群点）和非单元素微簇一同排序的离群点检测器？如何以一种可扩展且“无需人工干预”的方式获得有原则的分数？离群点微簇指示欺诈活动中的合谋或重复等行为；因此，识别它们非常必要。本文提出了 McCatch：一种新算法，通过利用我们提出的“Oracle”图（1NN 距离与组 1NN 距离）来检测微簇。我们研究了 31 个真实和合成数据集，数据元素多达 100 万个，以表明 McCatch 是唯一能回答上述两个问题的方法；并且，它优于其他 11 种方法，尤其是在数据具有非单元素微簇或为非维度数据时。我们还展示了 McCatch 在图、指纹、网络连接日志、文本数据和卫星图像中检测有意义微簇的能力。例如，它在网络日志中发现了一个包含 30 个元素的已确认“拒绝服务”攻击微簇，在普通台式机上对 222K 个数据元素仅耗时约 3 分钟。
引用
@article{arxiv.2403.08027,
title = {McCatch: Scalable Microcluster Detection in Dimensional and Nondimensional Datasets},
author = {Braulio V. Sánchez Vinces and Robson L. F. Cordeiro and Christos Faloutsos},
journal= {arXiv preprint arXiv:2403.08027},
year = {2024}
}
备注
\c{opyright} 2024 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works