中文

将 MapReduce 计算连接到现实机器模型

数据结构与算法 2020-02-19 v1

摘要

我们解释了流行的、高度抽象的并行计算 MapReduce 模型(MRC)如何通过说明其可在诸如 BSP 之类的现实分布式内存并行机器模型上被模拟而扎根于现实。我们首先精炼该模型(MRC+^+)以包含总工作量 ww、瓶颈工作量 w^\hat{w}、数据量 mm 和最大对象大小 m^\hat{m} 等参数。然后我们给出在分布式内存机器上使用 pp 个处理器执行 MapReduce 计算的匹配上下界——Θ(w/p+w^+logp)\Theta(w/p+\hat{w}+\log p) 的工作量和 Θ(m/p+m^+logp)\Theta(m/p+\hat{m}+\log p) 的瓶颈通信量。

关键词

引用

@article{arxiv.2002.07553,
  title  = {Connecting MapReduce Computations to Realistic Machine Models},
  author = {Peter Sanders},
  journal= {arXiv preprint arXiv:2002.07553},
  year   = {2020}
}