K-NS：高维空间中基于分区的异常检测
人工智能
2014-05-07 v1 机器学习
机器学习
摘要
从互联网海量数据中发现隐藏的稀有信息是一项必要但复杂的问题。许多研究者对此进行了研究，并找到了在低维空间中检测异常数据的有效方法。然而，随着维度的增加，由于“维数灾难”，大多数现有方法在检测异常值方面表现不佳。尽管一些方法旨在解决高维空间中的这一问题，但它们只能检测出现在低维空间中的部分异常数据，而无法检测所有在高维空间中以不同方式出现的异常数据。为应对这一问题，我们提出了一种在基于分区空间中的新 k-近邻分区方法（k-NS）。我们提出的方法不仅利用分区密度比检测低维空间中的异常值，还利用 k-近邻分区与平均值的比率检测高维空间中的异常值。经过一系列维度从 10 到 10000 的实验，实验结果表明，我们提出的方法在极高维空间情况下实现了 100% 的精确率和 100% 的召回率，并且在低维空间中相比我们之前提出的方法有更好的改进。
引用
@article{arxiv.1405.1027,
title = {K-NS: Section-Based Outlier Detection in High Dimensional Space},
author = {Zhana Bao},
journal= {arXiv preprint arXiv:1405.1027},
year = {2014}
}
备注
10 pages, 6 figures, 3 tables. arXiv admin note: substantial text overlap with arXiv:1405.0869