混合边划分器：内存约束下大规模幂律图的划分

管理并处理图结构数据的分布式系统内部需解决图划分问题，以最小化通信开销与查询运行时间。除计算复杂度——最优图划分为 NP 难——外，另一重要考量因素是内存开销。真实世界图往往规模巨大，将完整图载入内存进行划分既不经济也不可行。当前降低内存开销的常用方法是依赖流式划分算法。尽管最新流式算法在某些图上能取得合理划分质量，但仍无法完全与内存内划分器竞争。本文提出一个新系统——混合边划分器（HEP），它能在图部分装入内存的同时产生高划分质量。HEP 通过将图的边集分离为两个子集，灵活适配其内存开销。一个子集由 NE++（一种新颖高效的内存内算法）划分，另一子集由流式方法划分。我们在大型真实世界图上的评估表明，在许多情况下，HEP 同时优于内存内划分与流式划分。因此，对于无法微调内存开销的现有方案，HEP 是一个有吸引力的替代。最后，我们展示使用 HEP 在 Spark/GraphX 上相比最先进划分算法实现了分布式图处理任务的显著加速。