用于层次稠密子图发现的二分网络并行剥离
分布式、并行与集群计算
2021-10-26 v1
摘要
Wing 与 Tip 分解分别构建蝴蝶稠密的边诱导与顶点诱导二分子图的层次结构。它们在电子商务、推荐系统和文档分析等多个领域有应用。现有分解算法采用自底向上方法,按子图密度递增顺序构建层次。它们迭代剥离具有最小蝴蝶计数的实体,即从图中移除并更新其他实体的蝴蝶计数。然而,大型二分图中的蝴蝶数量使自底向上剥离计算代价高昂。此外,严格的实体剥离顺序导致大量顺序依赖的迭代,使并行化具挑战性。本文提出一种新颖的并行二分网络剥离(PBNG)框架,采用两阶段剥离方法放宽剥离顺序,进而减少同步。第一阶段通过极少剥离迭代将分解层次划分为若干分区。第二阶段并发处理这些分区以生成最终层次,且无需全局同步。两阶段剥离进一步支持批处理优化,显著提升计算效率。我们使用多个真实世界二分图对 PBNG 进行经验评估。与最先进框架和分解算法相比,PBNG 分别实现了高达四个数量级的同步减少和两个数量级加速。我们还展示了部分最大公共真实数据集的首个分解结果,PBNG 可在数分钟内剥离,而现有算法即便数天也无法处理。
引用
@article{arxiv.2110.12511,
title = {Parallel Peeling of Bipartite Networks for Hierarchical Dense Subgraph Discovery},
author = {Kartik Lakhotia and Rajgopal Kannan and Viktor Prasanna},
journal= {arXiv preprint arXiv:2110.12511},
year = {2021}
}
备注
31 pages, 11 figures, 4 tables. Source code available at https://github.com/kartiklakhotia/RECEIPT