Graphyti：面向 FlashGraph 的半外存图库
分布式、并行与集群计算
2019-07-09 v1 数据库
摘要
图数据集超出了大多数单机的内存容量。传统上，图框架通过横向扩展、分布式计算来克服内存限制。新兴框架利用半外存（SEM）避免分布式数据的网络瓶颈，SEM 使用单个多核节点并操作大于内存的图。在 SEM 中，对于具有 个顶点和 条边的图， 的数据驻留在磁盘上， 的数据在内存中。对开发者而言，这增加了复杂性，因为他们必须在应用中显式编码 I/O。我们提出了对应用开发者而言至关重要的原则，以在 SEM 中实现最先进的性能，同时最小化算法的 I/O 与内存。我们在 Graphyti 中呈现这些原则，这是一个构建于 FlashGraph 之上、可通过 pip 在 Python 中使用的可扩展并行 SEM 图库。在 SEM 中，Graphyti 达到了内存执行性能的 80%，并保持了 FlashGraph 的性能，后者优于 PowerGraph 和 Galois 等分布式引擎。
引用
@article{arxiv.1907.03335,
title = {Graphyti: A Semi-External Memory Graph Library for FlashGraph},
author = {Disa Mhembere and Da Zheng and Carey E. Priebe and Joshua T. Vogelstein and Randal Burns},
journal= {arXiv preprint arXiv:1907.03335},
year = {2019}
}