基于共享 HyperLogLog 计数器的滑动时间窗口基数估计
网络与互联网体系结构
2018-11-01 v1 分布式、并行与集群计算
摘要
基数估计是网络管理与安全中的一个重要研究课题。如何在滑动时间窗口下解决该问题是热点。HyperLogLog 是一种在固定时间窗口下工作的内存高效算法。HyperLogLog 的滑动版本可通过将 HyperLogLog 的每个计数器替换为可能最大值特征列表（LFPM）来在滑动时间窗口下工作。但 LFPM 是一种动态结构，其大小在运行时是可变的。本文提出了一种用于 HyperLogLog 的新型计数器，其内存消耗小于 LFPM。我们的计数器称为位距离记录器 BDR，因为它维护每个最左侧“1”位位置的距离。BDR 的大小是固定的。基于 BDR，我们设计了一种滑动时间窗口下多主机基数估计算法，即虚拟位距离记录器 VBDR。VBDR 为每个主机分配一个 BDR 虚拟向量，且每个物理 BDR 由多个主机共享以提高内存利用率。经过微小修改，我们提出了另外两个 VBDR 的并行版本，可在 GPU 上运行以处理高速流量。其中一个并行 VBDR 在 IP 对扫描中速度快，另一个内存高效。BDR 也适用于其他基数估计算法，如 PCSA、LogLog。
引用
@article{arxiv.1810.13132,
title = {Cardinalities estimation under sliding time window by sharing HyperLogLog Counter},
author = {Jie Xu},
journal= {arXiv preprint arXiv:1810.13132},
year = {2018}
}
备注
2 figures. arXiv admin note: text overlap with arXiv:1807.01527