在云计算环境中利用 Hadoop MapReduce 分析 Web 应用日志文件以获取点击量
分布式、并行与集群计算
2014-12-01 v1
摘要
MapReduce 已广泛应用于数据和计算密集型应用的各个领域，也是云计算的重要编程模型。Hadoop 是 MapReduce 的开源实现，能够利用商用硬件处理 TB 级数据。我们将 Hadoop MapReduce 编程模型应用于分析 Web 日志文件，以获取特定 Web 应用的点击量。该系统使用 Hadoop 文件系统存储日志文件，并利用 Map 和 Reduce 函数评估结果。实验结果显示了日志文件中各字段的点击量。此外，得益于 MapReduce 运行时的并行化，响应时间得以缩短。
引用
@article{arxiv.1411.7639,
title = {Analyzing Web Application Log Files to Find Hit Count Through the Utilization of Hadoop MapReduce in Cloud Computing Environment},
author = {Sayalee Narkhede and Trupti Baraskar and Debajyoti Mukhopadhyay},
journal= {arXiv preprint arXiv:1411.7639},
year = {2014}
}
备注
6 pages, 11 figures