面向数据流滑动窗口查询的扁平化指数直方图
数据结构与算法
2019-12-10 v1
摘要
基本计数问题 [1] 是数据流上滑动窗口查询中最基础且关键的问题之一。给定一串 0 与 1 的流，该问题的目的是估计流中最近 N 个元素（或时间单元）中 1 的个数。其解可作为构建模块来解决大量更复杂的问题，如重击者、频率估计、独立计数等。本文针对基本计数问题提出扁平化指数直方图（FEH）模型。我们的模型在准确性与内存利用上（实践中多数情况下）优于广受认可的基本计数确定性技术——指数直方图 [1]、[2]。在真实数据集上的大量实验结果表明，在相同的内存占用下，我们模型的准确性是指数直方图的 4 至 15 倍，平均提升 7 倍，而速度大致相同。
引用
@article{arxiv.1912.03526,
title = {Flattened Exponential Histogram for Sliding Window Queries over Data Streams},
author = {Shuhao Sun and Dagang Li},
journal= {arXiv preprint arXiv:1912.03526},
year = {2019}
}