基准测试三大数据系统的启示
分布式、并行与集群计算
2016-11-17 v1 性能
摘要
随着当今数据爆炸和应用多样化，各种用于大数据的硬件平台应运而生，引起了业界和学界的兴趣。现有的硬件平台代表了广泛的实现方法，且不同的硬件平台具有不同的优势。在本文中，我们使用 BigDataBench（一个大数据基准测试套件）对三个代表性的大数据系统进行了全面评估：Intel Xeon、Atom（低功耗处理器）和多核 Tilera。随后，我们通过运行 BigDataBench 探讨了这三种实现方法的相对性能，并为大数据系统的构建提供了强有力的指导。通过实验，我们推断出基于特定硬件的大数据系统在不同应用和数据量背景下具有不同的性能。在构建系统时，我们不仅应考虑纯硬件的性能或能耗，还应考虑在其上运行的应用特征。当研究人员或架构师计划为其大数据系统选择基础组件时，应综合考虑数据规模、应用类型和复杂性。
引用
@article{arxiv.1310.6546,
title = {The Implications from Benchmarking Three Big Data Systems},
author = {Jing Quan and Yingjie Shi and Ming Zhao and Wei Yang},
journal= {arXiv preprint arXiv:1310.6546},
year = {2016}
}
备注
8 pages, 10 figures, The First Workshop on Big Data Benchmarks, Performance Optimization, and Emerging hardware (BPOE 2013) In conjunction with 2013 IEEE International Conference on Big Data (IEEE Big Data 2013)