在Intel Xeon Phi协处理器上优化MapReduce框架
分布式、并行与集群计算
2013-09-03 v1
摘要
凭借易编程性、灵活性和效率，MapReduce已成为构建大数据应用最流行的框架之一。MapReduce最初为分布式计算设计，并已扩展到各种架构，例如多核CPU、GPU和FPGA。本文聚焦于在Xeon Phi上优化MapReduce框架，Xeon Phi是英特尔基于众核集成架构发布的最新款产品。据我们所知，这是首个在Xeon Phi上优化MapReduce框架的工作。在我们的工作中，我们利用Xeon Phi的高级特性来实现高性能。为了利用SIMD向量处理单元，我们提出了一种面向map阶段的向量化友好技术，以辅助自动向量化，并开发了SIMD哈希计算算法。此外，我们利用MIMD超线程将map和reduce流水线化，以提高资源利用率。对于某些应用，我们还消除了多个局部数组，而在全局数组上使用低成本的原子操作，这由于一致的L2缓存而提高了线程可扩展性和数据局部性。最后，对于给定应用，我们的框架可以在编译时自动检测合适的技术来应用，或为用户提供指导。我们进行了全面的实验来对Xeon Phi进行基准测试，并将我们优化的MapReduce框架与最先进的多核MapReduce框架（Phoenix++）进行比较。通过评估六个真实应用，实验结果表明，在Xeon Phi上，对于各种应用，我们优化的框架比Phoenix++快1.2倍到38倍。
引用
@article{arxiv.1309.0215,
title = {Optimizing the MapReduce Framework on Intel Xeon Phi Coprocessor},
author = {Mian Lu and Lei Zhang and Huynh Phung Huynh and Zhongliang Ong and Yun Liang and Bingsheng He and Rick Siow Mong Goh and Richard Huynh},
journal= {arXiv preprint arXiv:1309.0215},
year = {2013}
}