PS-DBSCAN：一种基于人工智能平台（PAI）的高效并行 DBSCAN 算法
数据库
2017-11-06 v1 分布式、并行与集群计算
摘要
我们提出 PS-DBSCAN，一种通信高效的并行 DBSCAN 算法，它结合了 disjoint-set 数据结构和人工智能平台（PAI）中的参数服务器（Parameter Server）框架。由于同一簇内的数据点可能分布在不同工作节点上，导致出现多个不相交集，合并它们会产生巨大的通信开销。在我们的算法中，我们采用快速全局合并方法对这些不相交集进行合并，以减轻通信负担。在不同规模数据集上的实验表明，PS-DBSCAN 在通信效率上优于 PDSDBSCAN，加速比为 2-10 倍。我们已在阿里云中称为人工智能平台（PAI - https://pai.base.shuju.aliyun.com/）的算法平台中发布了我们的 PS-DBSCAN。我们也演示了如何在 PAI 中使用该方法。
引用
@article{arxiv.1711.01034,
title = {PS-DBSCAN: An Efficient Parallel DBSCAN Algorithm Based on Platform Of AI (PAI)},
author = {Xu Hu and Jun Huang and Minghui Qiu and Cen Chen and Wei Chu},
journal= {arXiv preprint arXiv:1711.01034},
year = {2017}
}
备注
6 pages