用于基数估计的不可合并草图

基数估计或许是可通过草图解决的最简单的非平凡统计问题。HyperLogLog、MinHash 和 PCSA 等工业部署的草图是可合并的，这意味着大型数据集可在分布式环境中被草图化，然后合并为整个数据集的单一草图。在过去十年中，开发了多种不可合并但出于其他原因颇具吸引力的草图。它们更简单，其基数估计严格无偏，且方差显著更低。我们在合理公平的基础上，依据其内存-方差积（MVP）评估草图方案。例如，占用 $5m$ 比特且相对方差为 $2/m$（标准误差 $\sqrt{2/m}$）的草图，其 MVP 为 $10$。我们的贡献如下。Cohen 与 Ting 各自独立发现了我们称之为 Martingale 变换的方法，用于将可合并草图转换为不可合并草图。我们提出了一种更简洁的方式来分析 Martingale 类草图的极限 MVP。我们证明 \Martingale{} 变换在不可合并世界中是最优的，且特别地 \Martingale{} \fishmonger{} 在可线性化草图中是最优的，其 MVP 为 $H_0/2 \approx 1.63$。例如，这是表明要实现 1% 标准误差，我们无法优于 2 千字节草图的间接证据。\Martingale{} \fishmonger{} 既不简单也不实用。我们开发了一种称为 \Curtain{} 的新可合并草图，在简洁性与效率间取得了良好平衡，并证明 \Martingale{} \Curtain{} 的极限 $\MVP\approx 2.31$。它可通过 $O(1)$ 次内存访问更新，且经验方差低于 HyperLogLog 的实用不可合并版本 \Martingale{} \LogLog。