低功耗处理器上的 Hadoop
分布式、并行与集群计算
2014-08-12 v1
摘要
在我们之前的工作中，我们引入了一种所谓的 Amdahl 刀片微服务器，它将低功耗 Atom 处理器与 GPU 和 SSD 相结合，提供了一个平衡且节能的系统。我们的初步结果表明，Amdahl 刀片的顺序 I/O 性能可比功耗相当的常规服务器集群高出十倍。在本文中，我们研究了运行 Hadoop 的 Amdahl 刀片的性能和能源效率。结果表明，对于数据密集型和计算密集型应用，Amdahl 刀片的能源效率分别是 Open Cloud Consortium 集群的 7.7 倍和 3.4 倍。Hadoop 分布式文件系统（Hadoop Distributed Filesystem）在 Amdahl 刀片上的性能相对较差，因为磁盘和网络 I/O 在 Atom 处理器上都是 CPU 密集型操作。我们展示了三种减少 CPU 消耗并提高性能的有效技术。然而，即使有了这些改进，Atom 处理器仍然是系统的瓶颈。我们重新审视了 Amdahl 定律，并估计 Amdahl 刀片需要四个 Atom 核心才能在 Hadoop 任务中达到良好的平衡。
引用
@article{arxiv.1408.2284,
title = {Hadoop in Low-Power Processors},
author = {Da Zheng and Alexander Szalay and Andreas Terzis},
journal= {arXiv preprint arXiv:1408.2284},
year = {2014}
}