MapReduce 足够好吗？如果你只有一把锤子，那就扔掉所有不是钉子的东西！
分布式、并行与集群计算
2012-09-12 v1 数据库
摘要
Hadoop 目前是大规数据分析的首选“锤子”，但存在某些类别的算法并非“钉子”，即它们并不特别适合 MapReduce 编程模型。为此，研究人员提出了 MapReduce 的扩展或替代编程模型，以便优雅地表达这些算法。本文主张一种截然不同的立场：MapReduce 已经“足够好”，我们不应试图发明螺丝刀，而应直接摒弃所有非“钉子”的问题。具体而言，文献中大量讨论指出迭代算法不适合 MapReduce；简单的解决方案是寻找能够解决同一问题的非迭代替代算法。本文结合了我作为学术研究人员以及在“现实世界”生产分析环境中软件工程师的个人经验。基于这一双重视角，我反思了“大数据”研究的现状与未来。
引用
@article{arxiv.1209.2191,
title = {MapReduce is Good Enough? If All You Have is a Hammer, Throw Away Everything That's Not a Nail!},
author = {Jimmy Lin},
journal= {arXiv preprint arXiv:1209.2191},
year = {2012}
}