ADWISE：面向高速图处理的基于自适应窗口的流式边划分
分布式、并行与集群计算
2018-05-31 v2
摘要
近年来，图划分问题作为超大规模图分布式图处理必需的预处理步骤而日益重要。现有图划分算法以流式方式将各条边分配给划分，从而最小化划分延迟——代价是划分质量降低。然而，我们认为单纯最小化划分延迟并非最小化图分析总延迟（即划分延迟与处理延迟之和）的最优设计选择。相反，对于在超大规模图上运行的复杂且长时运行的图处理算法，投入更多时间进行图划分以达成更高划分质量是有益的——这会大幅降低图处理延迟。本文中，我们提出 ADWISE，一种新颖的基于窗口的流式划分算法，它始终从一组边中选取最优边分配给划分，从而提升划分质量。在此过程中，ADWISE 通过在运行时动态调整窗口大小来控制划分延迟。我们的评估表明，ADWISE 能够到达图划分延迟与图处理延迟之间的甜点，与最先进技术相比，将划分加处理的总延迟降低了 23–47%。
引用
@article{arxiv.1712.08367,
title = {ADWISE: Adaptive Window-based Streaming Edge Partitioning for High-Speed Graph Processing},
author = {Christian Mayer and Ruben Mayer and Muhammad Adnan Tariq and Heiko Geppert and Larissa Laich and Lukas Rieger and Kurt Rothermel},
journal= {arXiv preprint arXiv:1712.08367},
year = {2018}
}