GraphMP：单机商品机上的 I/O 高效大图分析
分布式、并行与集群计算
2019-02-19 v2
摘要
近期研究表明，在大规模问题上，单机图处理系统可与基于集群的方法一样具有高度竞争力。尽管已提出若干外存图处理系统与计算模型，高磁盘 I/O 开销在许多实际情况下会显著降低性能。本文提出 GraphMP 以在单机上处理大图分析。GraphMP 通过三项技术实现低磁盘 I/O 开销。首先，我们设计以顶点为中心的滑动窗口（VSW）计算模型，以避免在磁盘上读写顶点。其次，我们提出选择性调度方法，以跳过磁盘上不必要边分片的加载与处理。第三，我们采用压缩边缓存机制，充分利用机器可用内存以减少对边的磁盘访问次数。大量评估表明，GraphMP 可超越现有单机外存系统（如 GraphChi、X-Stream 和 GridGraph）达 51 倍，并且可与 Pregel+、PowerGraph 和 Chaos 等分布式图引擎一样具有高度竞争力。
引用
@article{arxiv.1810.04334,
title = {GraphMP: I/O-Efficient Big Graph Analytics on a Single Commodity Machine},
author = {Peng Sun and Yonggang Wen and Ta Nguyen Binh Duong and Xiaokui Xiao},
journal= {arXiv preprint arXiv:1810.04334},
year = {2019}
}
备注
arXiv admin note: substantial text overlap with arXiv:1707.02557