Log(Graph)：一种近最优的高性能图表示
数据结构与算法
2020-11-02 v1 数据库
分布式、并行与集群计算
信息检索
摘要
当今用于机器学习或社交网络分析等领域的图可能包含数千亿条边。然而，它们未必被高效存储，并且邻接表等标准图表示浪费了大量比特，而 WebGraph 等图压缩方案往往需要耗时的解压缩。为此，我们提出 Log(Graph)：一种结合高压缩比与极低开销解压缩的图表示，以实现更廉价、更快速的图处理。其核心思想是对图进行编码，使表示的各部分接近或达到各自的存储下界。我们称该方法为“图对数化”，因为这些下界通常是对数级的。我们基于现代位运算和最先进 succinct 数据结构的高性能 Log(Graph) 实现取得了高压缩比与高性能。例如，与经过调优的图算法处理基准套件（GAPBS）相比，它将图大小减少了 20-35%，同时匹配 GAPBS 的性能，甚至因减少传输数据量而实现加速。它接近成熟的 WebGraph 压缩库的压缩比，同时实现高达 2 倍以上的加速。Log(Graph) 可改进单个 NUMA 节点以及分布式内存系统上各种图处理引擎或库的设计。
引用
@article{arxiv.2010.15879,
title = {Log(Graph): A Near-Optimal High-Performance Graph Representation},
author = {Maciej Besta and Dimitri Stanojevic and Tijana Zivic and Jagpreet Singh and Maurice Hoerold and Torsten Hoefler},
journal= {arXiv preprint arXiv:2010.15879},
year = {2020}
}