CFOF:一种无集中度影响的异常检测方法
机器学习
2019-09-18 v2 机器学习
摘要
我们提出一种新颖的离群点概念,称为无集中度离群因子(Concentration Free Outlier Factor,CFOF)。作为主要贡献,我们形式化了离群分数的集中度概念,并从理论上证明CFOF在任意高维欧几里得空间中均不集中。据我们所知,尚无其他基于欧几里得距离的数据分析度量被提供理论证据表明其不受集中度效应影响。我们确定了任意高维下CFOF分数分布的闭式,并表明点的CFOF分数依赖于其平方范数标准分数与数据分布的峰度,从而为该概念提供了清晰且基于统计的刻画。此外,我们利用该闭式证明此定义不受困扰其他度量的中心性问题影响。我们证明来自每个簇的CFOF离群点数量正比于簇大小与峰度,这一性质我们称为半局部性。我们确定半局部性刻画了已有的基于反向最近邻的离群点定义,从而澄清了其观测到的局部行为的确切本质。我们还形式化证明经典基于距离与基于密度的离群点在有界与无界样本量下以及邻域参数固定与可变时均会集中。我们引入fast-CFOF算法用于检测大型高维数据集中的离群点。该算法具有线性代价,支持多分辨率分析,且极易并行。实验表明该技术能高效处理海量数据集,甚至可处理较大的邻域参数值,避免集中度,并取得优异精度。
引用
@article{arxiv.1901.04992,
title = {CFOF: A Concentration Free Measure for Anomaly Detection},
author = {Fabrizio Angiulli},
journal= {arXiv preprint arXiv:1901.04992},
year = {2019}
}