Sparx：大规模分布式离群点检测
分布式、并行与集群计算
2022-06-06 v1 数据库
摘要
文献中并不缺少离群点检测（OD）算法，但其中大量是为单机设计的。随着数据已常驻云端的现实日益增长，对分布式 OD 技术的需求随之而来。然而该领域不仅研究不足，也缺乏可供实际使用的公共领域实现。本文旨在填补此空白：我们设计了 Sparx，一种适用于无共享架构的数据并行 OD 算法，并具体在 Apache Spark 中实现。通过在三个真实世界数据集（含数十亿个点和数百万个特征）上的大量实验，我们表明现有开源方案无法扩展——或因点数量巨大，或因高维，而 Sparx 可带来可扩展且有效的性能。为便于在现代规模数据集上实际使用 OD，我们以 Apache 许可证在 https://tinyurl.com/sparx2022 开源 Sparx。
引用
@article{arxiv.2206.01281,
title = {Sparx: Distributed Outlier Detection at Scale},
author = {Sean Zhang and Varun Ursekar and Leman Akoglu},
journal= {arXiv preprint arXiv:2206.01281},
year = {2022}
}
备注
11 pages, 7 figures, 14 tables