Monoidify!幺半群作为高效MapReduce算法的设计原则
分布式、并行与集群计算
2013-04-30 v1 数据库
编程语言
摘要
众所周知,由于MapReduce中的排序/shuffle阶段代价高昂,局部聚合是设计高效算法的重要原则之一。这篇短文尝试用幺半群更清晰地阐述这一设计原则,该原则推广了组合器(combiner)和内存内组合模式(in-mapper combining pattern)的使用。
引用
@article{arxiv.1304.7544,
title = {Monoidify! Monoids as a Design Principle for Efficient MapReduce Algorithms},
author = {Jimmy Lin},
journal= {arXiv preprint arXiv:1304.7544},
year = {2013}
}