整合 R 与 Hadoop 进行大数据分析
分布式、并行与集群计算
2018-02-09 v1
摘要
使用关系数据库管理系统或桌面统计与可视化软件包等传统手段分析和处理大数据可能非常困难。相反，大数据需要拥有数百甚至数千个计算节点的大型集群。官方统计部门正日益考虑利用大数据来推导新的统计数据，因为大数据源能够比传统数据源产生更具相关性和及时性的统计结果。Hadoop 是一种在商用硬件集群上成功且广泛用于存储和处理大数据集的软件工具之一。Hadoop 框架包含库、分布式文件系统 (HDFS)、资源管理平台，并实现了用于大规模数据处理的 MapReduce 编程模型的一个版本。在本文中，我们研究了将 Hadoop 与 R 整合的可能性，R 是一种用于统计计算和数据可视化的流行软件。我们提出了三种整合方式：R with Streaming、Rhipe 和 RHadoop，并强调了每种解决方案的优缺点。
引用
@article{arxiv.1407.4908,
title = {Integrating R and Hadoop for Big Data Analysis},
author = {Bogdan Oancea and Raluca Mariana Dragoescu},
journal= {arXiv preprint arXiv:1407.4908},
year = {2018}
}
备注
Romanian Statistical Review no. 2 / 2014