（局部敏感）计数估计器数组 (ACE)：基于缓存查找的高速异常检测

异常检测是大规模数据处理系统中部署的频繁且重要的子例程之一。尽管是一个被充分研究的主题，现有的无监督异常检测技术需要存储大量数据，从内存和延迟角度来看是不可行的。在大数据时代，现有方法未能解决新的内存和延迟约束。在本文中，我们提出 ACE（（局部敏感）计数估计器数组，Arrays of (locality-sensitive) Count Estimators）算法，其速度可比 ELKI 包~\cite{DBLP:conf/ssd/AchtertBKSZ09} 快 60 倍，而 ELKI 包拥有无监督异常检测算法的最快实现。ACE 算法需要少于 $4MB$ 的内存，以将完整数据信息动态压缩为一组计数数组。这些微小的 $4MB$ 计数数组足以进行无监督异常检测。ACE 算法的核心是一种新颖的统计估计器，它源自局部敏感哈希（LSH）的采样视角。该视角与广泛流行的用于近邻搜索的 LSH 视角显著不同且更高效。我们在 3 个基准数据集上展示了 ACE 算法相对于 11 种流行基线的优越性，包括 KDD-Cup99 数据，这是最大的可用基准，包含超过五十万条带有真实异常标签的条目。