基于HBase的级联map端连接实现可扩展连接处理
数据库
2012-06-28 v1 分布式、并行与集群计算
摘要
MapReduce大规模数据处理中的主要挑战之一是连接的智能计算。由于以RDF格式发布的语义网数据集在过去几年中迅速增长，可扩展连接技术也成为SPARQL查询处理的重要问题。本文提出了Map-Side Index Nested Loop Join（MAPSIN连接），它结合了HBase等NoSQL存储系统的可扩展索引能力（这些系统缺乏足够的分布式处理层）和MapReduce（后者缺乏用于高效大规模连接处理的适当存储结构）。在保留常用reduce端连接灵活性的同时，我们无需对底层框架进行任何修改即可利用map端连接的有效性。我们通过使用LUBM和SP2Bench基准的评估，展示了MAPSIN连接在处理大型RDF数据集上的SPARQL基本图模式时的显著优势。对于大多数查询，基于MAPSIN连接的查询执行比基于reduce端连接的执行快一个数量级。
引用
@article{arxiv.1206.6293,
title = {Cascading map-side joins over HBase for scalable join processing},
author = {Martin Przyjaciel-Zablocki and Alexander Schätzle and Thomas Hornung and Christopher Dorner and Georg Lausen},
journal= {arXiv preprint arXiv:1206.6293},
year = {2012}
}