Arachne 中的属性图
分布式、并行与集群计算
2023-09-19 v1
摘要
分析大规模图面临挑战,因其规模不断增长且对交互式、用户友好的分析工具有需求。这些图来自多个领域,包括网络安全、社会科学、健康科学和网络科学,其中网络可表示人类之间的交互、大脑中的神经元或网络中的恶意流。探索这些大图对于揭示隐藏的结构和度量至关重要,而这些结构和度量在无并行计算时难以计算。目前,Python 用户可利用开源 Arkouda 框架在数千个核心上高效执行 Pandas 和 NumPy 相关任务。针对大规模图分析,Arkouda 的扩展模块 Arachne 能够将 Arkouda 数据框轻松转换为图。本文提出并评估了三种在 Chapel 中实现的、可分布式的属性图数据结构,并集成到 Arachne 中。通过为 Arachne 增加属性图支持,数据科学家将能把其分析扩展到新的问题领域。属性图带来了额外的复杂性,需要对顶点和边上的标签、关系和属性等额外信息进行高效存储。
引用
@article{arxiv.2309.09943,
title = {Property Graphs in Arachne},
author = {Oliver Alvarado Rodriguez and Fernando Vera Buschmann and Zhihui Du and David A. Bader},
journal= {arXiv preprint arXiv:2309.09943},
year = {2023}
}
备注
The 27th Annual IEEE High Performance Extreme Computing Conference (HPEC), Virtual, September 25-29, 2023