中文

量体裁衣:使数据划分适配计算任务

分布式、并行与集群计算 2018-04-23 v1

摘要

社交图分析应用通常基于现成的分析框架构建。然而,这些框架是针对一般情况进行分析和优化的,必须适用于各类图。本文研究了在最小代价下,如何利用对应用和数据集的了解来优化性能。我们聚焦于划分策略对社交图计算性能的影响。我们在六个社交图上使用四种标准图算法,通过测量一组五个划分指标,评估了六种图划分算法。我们针对(i)图数据集的性质、(ii)各分析计算以及(iii)划分的性质,分析了每种划分策略的性能。我们发现,对于大多数(但并非全部)分析计算,通信代价是性能的最佳预测因子。我们还发现,针对某类算法的最佳划分策略未必适用于另一类算法,且针对所有算法的一般情况进行优化时,可能并未为给定图算法选出最优划分策略。我们以关于选择正确的数据划分策略的见解作结,该策略对大型图分析计算的性能有显著影响;其影响之大,足以证明针对计算和数据集优化划分策略的必要性。

关键词

引用

@article{arxiv.1804.07747,
  title  = {Cut to Fit: Tailoring the Partitioning to the Computation},
  author = {Iacovos Kolokasis and Polyvios Pratikakis},
  journal= {arXiv preprint arXiv:1804.07747},
  year   = {2018}
}

备注

14 pages, 6 figures, has been submitted for review