更简洁更优的 HyperLogLog 与 PCSA 基数估计器
数据结构与算法
2022-08-24 v1
摘要
基数估计（亦称不同元素计数）是草图技术中的一个经典问题，具有许多工业应用。尽管草图算法相当简单，但分析基数估计器却异常困难，即便至今日，诸如 HyperLogLog 与（压缩）PCSA 等最先进的草图也未涵盖于研究生级别的大数据课程中。本文中我们定义了一类广义剩余面积（GRA）估计器，并观察到 HyperLogLog、LogLog 以及 PCSA 的一些估计器仅仅是 GRA 对于各种整数值 τ 的实例化。我们随后分析了 GRA 估计器的极限相对方差。结果表明，通过选取分数值 τ，可改进 HyperLogLog 与 PCSA 的标准估计器。所得估计器非常接近由 Fisher 信息导出的 HyperLogLog 与 PCSA 的 Cramér-Rao 下界。尽管 Cramér-Rao 下界可通过最大似然估计器（MLE）达到，但 MLE 计算与动态更新均颇为繁琐。相比之下，GRA 估计器以常数时间更新轻而易举。我们的表述仅假设基础微积分与概率知识，不涉及任何复分析。
引用
@article{arxiv.2208.10578,
title = {Simpler and Better Cardinality Estimators for HyperLogLog and PCSA},
author = {Seth Pettie and Dingyu Wang},
journal= {arXiv preprint arXiv:2208.10578},
year = {2022}
}
备注
submitted to sosa23