面向层次聚类的并行过滤图
分布式、并行与集群计算
2023-03-10 v1
摘要
给定一组对象间的所有成对权重（距离），过滤图通过仅保留权重的重要子集来提供稀疏表示。此类图可输入图聚类算法以生成层次聚类。特别地，过滤图上的有向气泡层次树（DBHT）算法已被证明能为时间序列数据生成良好的层次聚类。我们提出了一种构建三角化极大过滤图（TMFG）的新并行算法，其产生DBHT的有效输入，以及一种针对TMFG输入优化的可扩展并行DBHT生成算法。除了并行化原有的并行性受限的TMFG构建外，我们还设计了一种在每轮插入多个顶点的新算法以提供更多并行性。我们表明，与原始TMFG相比，新算法生成的图质量相近，但生成速度快得多。我们针对TMFG和DBHT的新并行算法比最先进的实现快136至2483倍，同时在启用超线程的48核上实现高达41.56倍的自相对加速比，并且相较于标准平均连接与完全连接层次聚类算法取得了更好的聚类结果。我们表明，在股票数据集上，我们的算法生成的聚类与人类专家的分类高度吻合。
引用
@article{arxiv.2303.05009,
title = {Parallel Filtered Graphs for Hierarchical Clustering},
author = {Shangdi Yu and Julian Shun},
journal= {arXiv preprint arXiv:2303.05009},
year = {2023}
}