DGFIndex 用于智能电网：通过具有成本效益的多维范围索引增强 Hive
数据库
2014-07-10 v3 分布式、并行与集群计算
摘要
在智能电网应用中，随着部署的电力智能电表数量增加，每天都会生成和收集海量的有价值电表数据。为了实现可靠的数据采集并快速做出商业决策，海量电表数据的高吞吐量存储和高性能分析对电网公司至关重要。考虑到 Hadoop 和 Hive 系统在高效率、容错性和性价比方面的优势，它们常被部署为大数据处理的底层平台。然而，在实际业务用例中，这些数据分析应用通常涉及多维范围查询 (MDRQ) 以及对电表数据的批量读取和统计。虽然 Hive 在复杂数据批量读取和分析方面具有高性能，但缺乏针对 MDRQ 的高效索引技术。在本文中，我们提出了 DGFIndex，这是一种用于 Hive 的索引结构，可有效支持海量电表数据的 MDRQ。DGFIndex 利用网格文件 (grid file) 技术将数据空间划分为立方体。与 Hive 中存储多个维度所有组合的现有索引不同，DGFIndex 仅存储立方体的信息。这导致了更小的索引规模和更快的查询处理速度。此外，通过预计算每个立方体的用户定义聚合，DGFIndex 只需访问边界区域即可进行聚合查询。我们的综合实验表明，与 Hive 中的现有索引相比，DGFIndex 可节省显著的磁盘空间；对于聚合查询，DGFIndex 的查询性能比 Hive 和 HadoopDB 中的现有索引快 2-50 倍，对于非聚合查询快 2-5 倍，在不同查询选择率下比扫描整个表快 2-75 倍。
引用
@article{arxiv.1404.5686,
title = {DGFIndex for Smart Grid: Enhancing Hive with a Cost-Effective Multidimensional Range Index},
author = {Yue Liu and Songlin Hu and Tilmann Rabl and Wantao Liu and Hans-Arno Jacobsen and Kaifeng Wu and Jian Chen and Jintao Li},
journal= {arXiv preprint arXiv:1404.5686},
year = {2014}
}
备注
12 pages, VLDB 2014