中文

$\ell_p$-距离下单链接聚类的海量并行算法与硬度

数据结构与算法 2018-03-28 v2 数据库 分布式、并行与集群计算

摘要

我们提出了在 Hamming、1\ell_12\ell_2\ell_\infty 距离下计算 nndd 维输入向量的单链接聚类的海量并行(MPC)算法及近似硬度结果。对于任意固定的 dd,我们所有的算法均在 O(logn)O(\log n) 轮 MPC 内运行,并对所有距离实现了 (1+ϵ)(1+\epsilon)-近似(对于 Hamming 距离,我们给出了精确算法)。在标准的 MPC 硬度假设下(对于取决于所用距离的足够大的维度),我们还证明了 o(logn)o(\log n) 轮算法的常数因子不可近似性结果。通过在多种数据集上的实验,展示了我们算法在 Apache Spark 中实现的效率,其加速比达到了数个数量级。

关键词

引用

@article{arxiv.1710.01431,
  title  = {Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances},
  author = {Grigory Yaroslavtsev and Adithya Vadapalli},
  journal= {arXiv preprint arXiv:1710.01431},
  year   = {2018}
}