LLMapReduce：面向高性能数据分析的多级映射-归约
分布式、并行与集群计算
2016-12-13 v1
摘要
映射-归约并行编程模型在大数据领域已极其流行。许多大数据工作负载可受益于超级计算机提供的增强性能。LLMapReduce为运行在超级计算机上的大数据用户提供熟悉的映射-归约并行编程模型。LLMapReduce通过一行代码提供简单并行编程能力，极大简化了映射-归约编程。LLMapReduce支持所有编程语言和许多调度器。LLMapReduce可与任何应用协同工作而无需修改应用。此外，LLMapReduce可通过允许用户切换到更高效单程序多数据（SPMD）并行编程模型的选项，克服映射-归约并行编程模型中的扩展限制。这些特性使用户在某些应用上相比标准映射-归约减少超过10倍的计算开销。LLMapReduce在MIT被数百名用户广泛使用。目前LLMapReduce可配合若干调度器工作，如SLURM、Grid Engine和LSF。
引用
@article{arxiv.1607.06543,
title = {LLMapReduce: Multi-Level Map-Reduce for High Performance Data Analysis},
author = {Chansup Byun and Jeremy Kepner and William Arcand and David Bestor and Bill Bergeron and Vijay Gadepally and Matthew Hubbell and Peter Michaleas and Julie Mullen and Andrew Prout and Antonio Rosa and Charles Yee and Albert Reuther},
journal= {arXiv preprint arXiv:1607.06543},
year = {2016}
}
备注
8 pages; 19 figures; IEEE HPEC 2016