Cloudpress 2.0:一种基于云的 MapReduce 新闻检索方法
分布式、并行与集群计算
2012-04-17 v1 信息检索
摘要
在这个互联网时代,每天每分钟增加的新闻文章数量巨大。由于新闻文章数量的爆炸式增长,新闻检索系统需要频繁且密集地处理这些文章。目前使用的新闻检索系统无法应对这些数据密集型计算。此处提出的 Cloudpress 2.0 旨在设计并实现为可扩展、健壮且容错的系统。其设计使得新闻检索涉及的所有过程(如获取、预处理、索引、存储和摘要)均利用 MapReduce 范式并发挥云计算的能力。它采用了用于并行处理的新颖方法,将新闻文章存储在分布式数据库中,并将其可视化为 3D 图像。它使用基于 Lucene 的索引以实现高效快速的检索。它还包含一种用于搜索新闻文章的新颖查询扩展功能。Cloudpress 2.0 还允许基于输入查询对新闻文章进行即时的抽取式摘要。
引用
@article{arxiv.1204.3471,
title = {Cloudpress 2.0: A MapReduce Approach for News Retrieval on the Cloud},
author = {Arockia Anand Raj and T. Mala},
journal= {arXiv preprint arXiv:1204.3471},
year = {2012}
}
备注
17 pages, 12 figures