使用节点内组合器的Hadoop MapReduce性能增强
分布式、并行与集群计算
2015-11-17 v1
摘要
尽管对大型数据集的高级分析需求很高，但数据规模已超出传统软硬件的能力。Hadoop框架将大型数据集分布到多个商用服务器上并执行并行计算。我们讨论Hadoop框架的I/O瓶颈并提出增强I/O性能的方法。一种已被证实的方法是缓存数据以最大化所有map任务的内存局部性。我们引入一种优化I/O的方法，即节点内组合（in-node combining）设计，它将传统的combiner扩展到节点级别。节点内组合器减少了中间结果的总数并削减了mapper与reducer之间的网络流量。
引用
@article{arxiv.1511.04861,
title = {Hadoop Mapreduce Performance Enhancement Using In-node Combiners},
author = {Woo-Hyun Lee and Hee-Gook Jun and Hyoung-Joo Kim},
journal= {arXiv preprint arXiv:1511.04861},
year = {2015}
}
备注
International Journal of Computer Science & Information Technology, 2015