一种简单高效的用于数据立方体物化的 MapReduce 算法
数据库
2017-09-29 v1
摘要
数据立方体物化是 Gray 等人（Data Mining and Knowledge Discovery, Vol. 1）引入的经典数据库算子，对许多分析任务至关重要。Nandi 等人（Transactions on Knowledge and Data Engineering, Vol. 6）率先研究了使用 MapReduce 框架对大规模数据集进行立方体物化，并在 2012 年提出了一种对简单广播算法的复杂改进，使用 2k 台机器在 25 分钟内处理了立方体大小为 216GB 的数据集。我们采用不同的方法，提出了一种简单的 MapReduce 算法，该算法 (1) 最小化复制-加法操作的总数，(2) 利用计算局部性，以及 (3) 在机器间均匀平衡工作负载。结果表明，该算法表现出优异的性能，在 2014 年使用 0.4k 台机器在 54 分钟内物化了一个立方体大小为 35.0G 元组、1.75T 字节的真实数据集。
引用
@article{arxiv.1709.10072,
title = {A Simple and Efficient MapReduce Algorithm for Data Cube Materialization},
author = {Mukund Sundararajan and Qiqi Yan},
journal= {arXiv preprint arXiv:1709.10072},
year = {2017}
}