用于精确分位数跟踪与分析的数据流融合
数据结构与算法
2021-01-19 v1 数据库
分布式、并行与集群计算
摘要
UDDSKETCH 是近来由 DDSKETCH 算法衍生出的一种用于精确跟踪数据流中分位数的算法。UDDSKETCH 提供覆盖全部分位数范围且独立于输入分布的精度保证，并大幅改进了相对于 DDSKETCH 的精度。在本文中，我们展示如何通过使用 UDDSKETCH 数据摘要来压缩与融合数据流（或数据集），这些摘要被融合为一个与由输入摘要所处理的数据流（或数据集）之并相关的新摘要，同时保留 UDDSKETCH 所提供的误差与规模保证。草图的这一性质被称为可合并性（mergeability），其实现了并行与分布式处理。我们证明 UDDSKETCH 是完全可合并的，并引入了适用于基于消息传递架构的 UDDSKETCH 并行版本。我们形式化证明其正确性，并将其与 DDSKETCH 的并行版本比较，通过大量实验结果展示我们的并行算法在确定分位数的整体精度上几乎总是优于并行 DDSKETCH 算法。
引用
@article{arxiv.2101.06758,
title = {Data stream fusion for accurate quantile tracking and analysis},
author = {Massimo Cafaro and Catiuscia Melle and Italo Epicoco and Marco Pulimeno},
journal= {arXiv preprint arXiv:2101.06758},
year = {2021}
}