HyperLogLog超扩展：用于凹次线性频率统计的草图
数据结构与算法
2017-02-27 v5 信息检索
摘要
在数据元素上计算的最常见统计之一是不重复键的数量。三十年前由Flajolet和Martin开创的研究脉络最终导致了最优近似计数草图的设计，其大小关于不重复键的数量呈双对数级，并提供具有小相对误差的估计。此外，这些草图是可组合的，因此适用于流式、并行或分布式计算。我们在此考虑键的频率分布的所有统计，其中键对聚合的贡献是凹的并且随其频率（次）线性增长。这些基本聚合在文本、图和日志分析中非常常见，包括对数、低频矩和封顶统计。我们为所有凹次线性统计设计了双对数大小的可组合草图。我们的设计结合了理论最优性和实际简洁性。简而言之，我们指定从数据元素到输出元素的定制映射函数，使得数据元素上的目标统计由输出元素的（最大）不重复统计近似，而后者可使用现成草图近似。我们的关键见解是将这些目标统计与输入频率的互补拉普拉斯变换联系起来。
引用
@article{arxiv.1607.06517,
title = {HyperLogLog Hyper Extended: Sketches for Concave Sublinear Frequency Statistics},
author = {Edith Cohen},
journal= {arXiv preprint arXiv:1607.06517},
year = {2017}
}
备注
15pages; 5 figures