只有进取的大象才是快速的大象
数据库
2012-08-02 v1
摘要
黄色大象（Yellow elephants）速度缓慢。一个主要原因是它们在响应象骑手的指令之前会完全消耗掉所有输入。一些聪明的骑手训练他们的黄色大象仅在消耗部分输入后就做出响应。然而，训练大象做到这一点所需的时间成本很高，以至于教学课程往往得不偿失。我们采取了一种不同的方法：让大象变得“进取”（aggressive）；唯有如此才能使它们非常快速。我们提出了 HAIL（Hadoop Aggressive Indexing Library），这是对 HDFS 和 Hadoop MapReduce 的增强，显著改善了几类 MapReduce 作业的运行时间。HAIL 改变了 HDFS 的上传管道，以便在每个数据块副本上创建不同的聚类索引。HAIL 的一个有趣特征是，它通常能创造双赢局面：既改善了数据上传到 HDFS 的过程，又加快了实际 Hadoop MapReduce 作业的运行时间。在数据上传方面，HAIL 在默认复制因子为三的情况下，相比 HDFS 提升了高达 60%。在查询执行方面，我们证明 HAIL 的运行速度比 Hadoop 快高达 68 倍。在我们的实验中，我们使用了六个集群，包括多达 100 个节点的物理集群和 EC2 集群。一系列可扩展性实验也证明了 HAIL 的优越性。
引用
@article{arxiv.1208.0287,
title = {Only Aggressive Elephants are Fast Elephants},
author = {Jens Dittrich and Jorge-Arnulfo Quiané-Ruiz and Stefan Richter and Stefan Schuh and Alekh Jindal and Jörg Schad},
journal= {arXiv preprint arXiv:1208.0287},
year = {2012}
}
备注
VLDB2012