寻找佩戈斯：基于流形方法提升高维数据中无监督异常检测的效果
机器学习
2025-02-10 v1 宇宙学与河外天体物理
摘要
无监督机器学习方法在大规模异常搜索中表现良好，但在处理许多现代数据集的高维表示时常感到困难，因此通常首先进行降维(DR)。本文从降维过程中形成的流形角度来分析无监督异常检测(AD)。我们提出了一个理想化的案例“寻找佩戈斯”，并构建了一个新型框架，用于对AD方法及其结果进行分类，分为“流形内”和“流形外”。我们定义这些术语并阐明其差异。随后，我们利用这一洞见发展出一种结合AD方法的策略，在采用高维降维的情况下，可显著提升AD召回率，而不牺牲精确率。我们在MNIST数据上进行测试，结果表明，采用结合AD方法的策略相较于仅使用最佳单一AD方法（Isolation Forest）进行组合，召回率提升了最高可达16个百分点，显示出在实际数据中应用的广阔前景。
关键词
引用
@article{arxiv.2502.04310,
title = {Finding Pegasus: Enhancing Unsupervised Anomaly Detection in High-Dimensional Data using a Manifold-Based Approach},
author = {R. P. Nathan and Nikolaos Nikolaou and Ofer Lahav},
journal= {arXiv preprint arXiv:2502.04310},
year = {2025}
}
备注
21 pages, 14 figures