中文

Arachne 中的属性图

分布式、并行与集群计算 2023-09-19 v1

摘要

分析大规模图面临挑战,因其规模不断增长且对交互式、用户友好的分析工具有需求。这些图来自多个领域,包括网络安全、社会科学、健康科学和网络科学,其中网络可表示人类之间的交互、大脑中的神经元或网络中的恶意流。探索这些大图对于揭示隐藏的结构和度量至关重要,而这些结构和度量在无并行计算时难以计算。目前,Python 用户可利用开源 Arkouda 框架在数千个核心上高效执行 Pandas 和 NumPy 相关任务。针对大规模图分析,Arkouda 的扩展模块 Arachne 能够将 Arkouda 数据框轻松转换为图。本文提出并评估了三种在 Chapel 中实现的、可分布式的属性图数据结构,并集成到 Arachne 中。通过为 Arachne 增加属性图支持,数据科学家将能把其分析扩展到新的问题领域。属性图带来了额外的复杂性,需要对顶点和边上的标签、关系和属性等额外信息进行高效存储。

关键词

引用

@article{arxiv.2309.09943,
  title  = {Property Graphs in Arachne},
  author = {Oliver Alvarado Rodriguez and Fernando Vera Buschmann and Zhihui Du and David A. Bader},
  journal= {arXiv preprint arXiv:2309.09943},
  year   = {2023}
}

备注

The 27th Annual IEEE High Performance Extreme Computing Conference (HPEC), Virtual, September 25-29, 2023