使用MapReduce计算边际
数据库
2015-09-30 v1
摘要
我们考虑使用一轮 MapReduce 计算固定阶数 的数据立方体边际（即所有在 个维度上聚合的边际）的问题。重点在于归约器大小（单个归约器允许的输入数量）与复制率（一个输入被发送到的归约器数量）之间的关系。我们表明，当归约器接收到计算一个更高阶边际所需的全部输入时，复制率被最小化。该观察使我们能够将问题视为用大小为 的更大集合覆盖 维集合的问题，这一问题以“覆盖数（covering numbers）”之名被研究。我们提供了若干构造，对于不同的 和 值，这些构造达到或接近给定归约器大小下的最小可能复制率。
引用
@article{arxiv.1509.08855,
title = {Computing Marginals Using MapReduce},
author = {Foto Afrati and Shantanu Sharma and Jeffrey D. Ullman and Jonathan R. Ullman},
journal= {arXiv preprint arXiv:1509.08855},
year = {2015}
}