Hadoop 的过去、现在与未来:一项综述
网络与互联网体系结构
2022-03-01 v1
摘要
本文综述了一种名为 Hadoop 的用于海量数据存储与计算的技术。Hadoop 由常规 PC 等异构计算设备组成,抽象掉了并行处理的细节,开发者只需专注于其计算问题。Hadoop 集群由两部分构成:HDFS 和 MapReduce。Hadoop 集群使用 HDFS 进行数据管理。HDFS 为 MapReduce 作业中的输入和输出数据提供存储,并被设计具有如高容错性、高分布能力和高吞吐量等能力。它也适用于在集群上存储太字节级数据,并且运行于如商用设备这类灵活硬件之上。
引用
@article{arxiv.2202.13293,
title = {Past, Present and Future of Hadoop: A Survey},
author = {Ameneh Zarei and Shahla Safari and Mahmood Ahmadi and Farhad Mardukhi},
journal= {arXiv preprint arXiv:2202.13293},
year = {2022}
}
备注
A survey on Hadoop