中文

有界翻倍维度度量空间中用于多样性最大化的 MapReduce 与流式算法

分布式、并行与集群计算 2017-01-24 v4

摘要

给定度量空间中的点数据集与整数 kk,多样性最大化问题要求确定一个包含 kk 个点的子集,以最大化某种多样性目标度量,例如子集中两点间的最小或平均距离。多样性最大化在计算上是困难的,因此只能期望近似解。尽管其应用主要在于海量数据分析,过去关于多样性最大化的研究大多聚焦于顺序设置。本工作中,我们针对 Streaming 和 MapReduce 模型提出了空间与遍数/轮次高效的多样性最大化算法,并分析了它们在相关有界翻倍维度度量空间类上的近似保证。如同文献中的其他方法,我们的算法依赖于确定高质量核心集(core-sets),即输入的小得多的子集,其中包含整个输入的优化解的优良近似。对于多种多样性目标函数,我们的算法对于任意常数 ϵ>0\epsilon>0 达到了 (α+ϵ)(\alpha+\epsilon) 近似比,其中 α\alpha 是同一多样性目标下多项式时间、线性空间顺序算法所达到的最佳近似比。这相比最先进通用度量空间 Streaming 和 MapReduce 算法可获得的近似比有实质性改进。我们提供了广泛的实验证据,证明我们的算法在真实世界和合成数据集上的有效性,规模可扩展至超过十亿个点。

关键词

引用

@article{arxiv.1605.05590,
  title  = {MapReduce and Streaming Algorithms for Diversity Maximization in Metric Spaces of Bounded Doubling Dimension},
  author = {Matteo Ceccarello and Andrea Pietracaprina and Geppino Pucci and Eli Upfal},
  journal= {arXiv preprint arXiv:1605.05590},
  year   = {2017}
}

备注

Extended version of http://www.vldb.org/pvldb/vol10/p469-ceccarello.pdf, PVLDB Volume 10, No. 5, January 2017