聚类层次化异常与离群点检测算法
机器学习
2021-11-24 v2 机器学习
摘要
异常与离群点检测是机器学习中的一个长期问题。在某些情况下，异常检测很容易，例如当数据来自如高斯分布这样特征明确的分布时。然而，当数据占据高维空间时，异常检测变得更为困难。我们提出 CLAM（Clustered Learning of Approximate Manifolds，近似流形的聚类学习），一种任意度量空间中的流形映射技术。CLAM 始于快速的层次化聚类技术，然后基于使用若干几何与拓扑特征选择的重叠聚类，从聚类树导出图。利用这些图，我们实现了 CHAODA（Clustered Hierarchical Anomaly and Outlier Detection Algorithms，聚类层次化异常与离群点检测算法），探索图及其组成聚类的各种属性以发现离群点。CHAODA 采用一种基于数据集训练集的迁移学习形式，并将该知识应用于具有不同基数、维度和领域的独立测试数据集。在 24 个公开可用数据集上，我们将 CHAODA（以 ROC AUC 为度量）与多种最先进的(state-of-the-art)无监督异常检测算法进行比较。其中 6 个数据集用于训练。CHAODA 在其余 18 个数据集中的 16 个上优于其他方法。CLAM 和 CHAODA 可扩展到大型、高维的“大数据”异常检测问题，并能跨数据集和距离函数泛化。CLAM 和 CHAODA 的源代码可在 GitHub 上免费获取：https://github.com/URI-ABD/clam。
引用
@article{arxiv.2103.11774,
title = {Clustered Hierarchical Anomaly and Outlier Detection Algorithms},
author = {Najib Ishaq and Thomas J. Howard and Noah M. Daniels},
journal= {arXiv preprint arXiv:2103.11774},
year = {2021}
}
备注
As published in IEEE Big Data 2021