Sparse Allreduce：针对幂律数据的高效可扩展通信
分布式、并行与集群计算
2013-12-12 v1 人工智能
数学软件
摘要
许多大型数据集表现出幂律统计特性：Web 图、社交网络、文本数据、点击流数据等。它们的邻接图被称为自然图，已知难以进行分区。因此，大多数针对这些图的分布式算法都是通信密集型的。许多针对自然图的算法涉及 Allreduce 操作：即对分区数据进行求和或平均，然后共享回集群节点。示例包括 PageRank、谱分区以及许多机器学习算法，包括回归、因子（主题）模型和聚类。在本文中，我们描述了一种针对幂律数据的高效且可扩展的 Allreduce 原语。我们指出了现有蝴蝶网络和轮询网络在 Sparse Allreduce 方面的扩展性问题，并表明混合方法优于两者。此外，我们指出 Sparse Allreduce 的阶段应当嵌套而非级联（如在稠密情况中那样）。最优吞吐量的 Allreduce 网络应当是一个异构度的蝴蝶网络，其中度数随着网络深度的增加而减小。最后，我们引入了一种简单的复制方案以应对节点故障。我们提供的实验表明，与 PowerGraph 和 Hadoop 等现有系统相比，该方法具有显著改进。
引用
@article{arxiv.1312.3020,
title = {Sparse Allreduce: Efficient Scalable Communication for Power-Law Data},
author = {Huasha Zhao and John Canny},
journal= {arXiv preprint arXiv:1312.3020},
year = {2013}
}