中文

一种易并行的最优空间基数估计算法

数据结构与算法 2023-07-04 v1

摘要

2020 年 Blasiok(ACM Trans. Algorithms 16(2) 3:1-3:28)构造了一种用于基数估计问题的最优空间流式算法,其空间复杂度为 O(ε2ln(δ1)+lnn)\mathcal O(\varepsilon^{-2} \ln(\delta^{-1}) + \ln n),其中 ε\varepsilonδ\deltann 分别表示相对精度、失败概率和全域大小。然而,他的解法要求流被顺序处理。另一方面,存在允许合并操作的算法;它们可用于分布式环境,允许对流的分段进行并行处理,并且对大规模分布式应用极为重要。遗憾的是,已知最好的此类算法空间复杂度超过 Ω(ln(δ1)(ε2lnlnn+lnn))\Omega(\ln(\delta^{-1}) (\varepsilon^{-2} \ln \ln n + \ln n))。本文提出一种新算法,在改进 Blasiok 解法的同时保持其空间复杂度,且益处在于允许此类合并操作,从而为顺序与并行应用均提供了该问题的最优解。此外,新算法在算法层面也改进了 Blasiok 的解法(即使在顺序设置下),降低了实现复杂度并需要更少的不同的伪随机对象。

关键词

引用

@article{arxiv.2307.00985,
  title  = {An embarrassingly parallel optimal-space cardinality estimation algorithm},
  author = {Emin Karayel},
  journal= {arXiv preprint arXiv:2307.00985},
  year   = {2023}
}

备注

Conference version to appear at the 27th International Conference on Randomization and Computation (RANDOM 2023)