Social Hash Partitioner：一种可扩展的分布式超图划分器

我们设计并实现了一种用于平衡 $k$-路超图划分的分布式算法，该算法通过优化一个称为概率扇出的新目标函数来最小化扇出。扇出是一种基本的超图量，也称为通信体积和 ($k-1$)-割度量。这种选择使得简单的局部搜索启发式算法能够达到与现有最佳超图划分器相当的求解质量。由于精心控制了计算复杂度、空间复杂度和通信的设计，我们的算法具有任意可扩展性。在实践中，我们通常能在几个小时内处理具有数十亿顶点和超边的超图。我们解释了该算法在超图大小和桶数量方面的可扩展性如何仅受可用机器数量的限制。我们与现有的分布式超图划分器进行了广泛的比较，发现我们的方法能够在同一组机器上优化大约大$100$倍的超图。我们将由此产生的工具称为 Social Hash Partitioner (SHP)，并随本文一同开源了基于递归二分法的最具可扩展性的版本。